Lehrstuhl Informatik VII

a) Motivation: Im inter- und intralogistischen Bereich ist die Verwendung von Mehrwegladungsträgern und -behältersystemen (s. Abbildung 1) zum Transport von Waren zum Standard geworden – Erfassen, Zählen und Erkennen von Behältern und Ladungsträgern sind dabei ständig wiederkehrende Aufgaben in Mehrwegkreisläufen [4]. Am Beispiel der Europalette, von der in Deutschland ca. 90 Millionen von weltweit 300 Millionen Paletten im Umlauf sind, wird die damit verbundene Komplexität dieser Aufgaben schnell deutlich. Als Mehrwegladungsträger finden sie sich ständig in einem Umlauf/Tausch zwischen Verlader, Empfänger und Transporteur und müssen damit auch immer wieder gezählt, geprüft, palettiert, depalettiert und verbucht werden. Allein das physische Handling und die administrative Verwaltung verursachen Gesamtkosten von jährlich zwischen 560-630 Millionen Euro [5]. Bestehende manuelle und automatische Lösungen zur Handhabung dieser Prozesse genügen bisher nicht den gestellten Anforderungen. So beruhen sie zumeist auf subjektiven visuellen Kontrollen durch Mitarbeiter und auf zumeist noch manuellen, fehleranfälligen Verbuchungen in das IT-System [4, 8]. Bestehende alternative automatisierte Lösungen erfordern meist tiefe Eingriffe in bestehende Prozesse und hohe Investitionen. Technische Prüfsysteme sind zudem häufig fest installiert und nicht flexibel mobil einsetzbar.

Abbildung 1: (a) Foto von einem typischen Logistikzentrum, (b) Versuchshalle am Fraunhofer-Institut für Materialfluss und Logistik (IML) und (c) exemplarische Darstellung voneinem Mehrwegladungsträger (Europalette) mit Paketen

Ausgehend von diesen Anforderungen ist die Zielsetzung dieser Projektgruppe der Entwurf und die Implementierung einer mobilen Vision-System-Lösung zur Qualitätsbewertung (Fehlerdetektion) und Identifikation von Behältern und Ladungsträgern respektive zur Ermittlung des aktuellen Beladungsstatus. Innerhalb der Projektgruppe soll daher ein System/eine Applikation zur 3D-Rekonstruktion von Europaletten und deren Beladung unter Einsatz von modernen mit 3D-Sensorik ausgestatteten Smartphones (stereoskopisch, s. Abbildung 2(a)) realisiert werden. Da aktuelle Modelle neben immer besseren 2D-CCD-Bilddaten auch stereoskopische 3D-Daten liefern, sollen im Hinblick auf ein optimales Ergebnis explizit 2D- und 3D-Informationen fusioniert und auf dem Handy verarbeitet werden. Dieses ist besonders im Hinblick auf den mobilen Einsatz interessant, da aus Flexibilitätsgründen keine stationäre und dezidierten Tiefensensorik zur Anwendung kommen kann. Insbesondere haben die meisten optischen dezidierten Tiefensensoren eine, für den mobilen Anwendungsfall zu hohe Leistungsaufnahme.

Abbildung 2: (a) Smartphone mit autostereoskopischem 3D-Display und stereoskopischer Kamera und Darstellung einer mit zwei verschiedenen Klappkisten beladenen Europalette als (b) klassisches CCD-Kamerabild bzw. (c) als dreidimensionales Tiefenbild

Konkrete Aufgabenstellungen der Projektgruppe sind die Erkennung verschiedener Behälter mittels bildbezogener und geometrischer Merkmale, die dreidimensionale Rekonstruktion und Visualisierung der beladenen Palette sowie die quantitative Erfassung von gestapelten Behältern. Diese Repräsentation erlaubt durch einen Abgleich mit den in einer zentralen Datenbank vorliegenden Informationen die Korrektheit der Beladung zu erkennen und damit die sichere Weiterverarbeitung zu gewährleisten. Anhand der (rekonstruierten) Europalette soll eine qualitative Zustands-/Qualitätsbestimmung einzeln und im Stapel anhand fest vorgegebener Kriterien erfolgen. Die Verfahren als auch die Visualisierung sollen dabei als Applikation auf dem Smartphone implementiert und verifiziert werden. Hierfür sollen mehrere Möglichkeiten der effizienten Programmierung für mobile Plattformen analysiert und evaluiert werden, um hinreichend skalierbare Verfahren zu erhalten.

Abbildung 3: Schematische Darstellung zum Gesamtkonzept der Projektgruppe

b)Aufgabenbeschreibung: Aus Sicht der Informatik umfasst das Gesamtkonzept der Projektgruppe (s. Abbildung 3) zwei wesentliche Aufgabengebiete. Ein Teilgebiet fokussiert sich auf die digitale Bildverarbeitung/Mustererkennung und 3D-Geometrieverarbeitung bzw. Visualisierung, das zweite beinhaltet den Entwurf und die Implementierung von Konzepten Eingebetteter Systeme. Dabei werden die verschiedenen Aufgabengebiete während der gesamten Projektgruppe parallel bearbeitet. Für die Bild- und Geometrieverarbeitung sind folgende Verarbeitungsschritte angedacht:

• Kamerakalibrierung: Die klassische photogrammetrische Kalibrierung von RGBKameras [11] ist auf die speziellen Anforderungen stereoskopischer Kameras bei Smartphones anzupassen. Im Falle von PMD-Kameras ist ein zusätzlicher Kalibrierungsschritt zur Korrektur systematischer, PMD-typischer Fehler wie z.B. sogenannte Flying Pixels notwendig – Ansätze zur Korrektur sind u.a. Lookup-Tabellen oder B-Spline basierte Korrekturfunktionen [6].
• Datenaufbereitung: Sowohl durch die Kamerasensorik als auch durch die realen Bedingungen in Logistikzentren kann es zu geometrischen Verzerrungen und Diskontinuitäten (z.B. Rauschen, Reflektionen) innerhalb der Aufnahmesequenzen kommen. Diese Artefakte sind durch Methoden digitaler Bildverbesserung zu beheben [10]. Zusätzlich sind Beleuchtungsveränderungen innerhalb der Bild-/Videosequenzen zu kompensieren. In Abhängigkeit der 3D-Sensorik ist eventuell zudem die Kompensierung von Artefakten in der Distanzmessung, beispielsweise Ausreißer bei räumlichen Diskontinuitäten, Thema dieses Arbeitspakets [7].
• 3D-Rekonstruktion und Visualisierung: Mittels Methoden projektiver Geometrie, eventuell unter zusätzlicher Integration adaptierter Kalibrationsverfahren, soll eine 3DRekonstruktion des Ladungsträgers und der Beladung erfolgen. Die 3D-Rekonstruktion kann durch modellbasierte Algorithmen erfolgen, welche u.a. die Geometrie der Europalette beachten. Hierbei könnte ein Lösungsansatz auch in der Kombination von rigiden Registrierungsverfahren [12] (z.B. ICP) in Kombination mit projektiver Geometrie bestehen. Ein Teilaspekt bei der Rekonstruktion ist auch die Kompensierung des Handtremors („Verwackelung“) [2] – denkbar ist hierbei an eine Spline-Approximation. Zudem sollen die multiplen Daten der Sensoren und deren Detektionsergebnisse visualisiert werden – als interaktives 3D-Visualisierungssystem soll dabei auch das 3D-Display der Smartphones genutzt werden.
• Mustererkennung und Klassifikation:Ausgehend von den zweidimensionalen Bilddaten und den 3D- Rekonstruktionen ist u.a. die Güte der Europalette zu bewerten. Hierbei können geometrische und Farb-assoziierte Merkmale [3], aber auch topologische Informationen berücksichtigt werden. Im Hinblick auf die automatische Erkennung des Beladungszustands können diese um Merkmale aus der Mustererkennung ergänzt, wie z.B. „Pattern-Matching“ und mit unüberwachten als auch überwachten Klassifikationsverfahren kombiniert werden [9].

Das zweite Teilgebiet der Projektgruppe geht von den o.g. Bildverarbeitungsalgorithmen aus und zielt auf eine effiziente Realisierung dieser Methoden auf Eingebetteten Systemen und auf eine hochperformante Kommunikation mit einer zentralen Datenbank ab. Hierzu sind folgende Arbeitspunkte umzusetzen:

• Android-Programmierung: Die Nutzung von Programmierungskonzepten und Bibliotheken aus der „PC“-Welt für den Mobilfunkmarkt hat die Verbreitung und Nutzung von Smartphones gefördert. Ausgehend von den im Bildverarbeitungsteil entwickelten Konzepten soll evaluiert werden, ob ein reines Google Android SDK/NDK Projekt oder die Programmierung mit QT effektiver innerhalb der Projektgruppe betrieben werden kann.
• SOA-basierte Kommunikation: SOA-basierte Kommunikationsmöglichkeiten werden immer häufiger im Bereich der Eingebetteten Systeme genutzt. Dies geschieht insbesondere vor dem Hintergrund des flexibleren Einsatz und der Möglichkeit der Wiederverwendbarkeit. Im Rahmen der Projektgruppe sollen dafür verschiedene vorhandene Middlewares verglichen und dann eine geeignete Wahl auf die Zielplattform portiert werden.

Die entwickelten Algorithmen zur Verarbeitung der Sensordaten, als auch die Implementierung auf den Smartphones sollen kontinuierlich evaluiert werden. Hierzu stehen die Versuchshalle am Fraunhofer-Institut mit Europaletten und Packstationen als auch entsprechende Smartphones mit 3D-Kameras zur Verfügung (s. Abbildung 1(b)). Bei der Umsetzung dieser Anforderungen in ein Softwaresystem sollen verschiedene Entwurfsphasen beachtet werden [1] und adäquate Werkzeuge (Quellcodeverwaltung, Wiki-System, Bugtracking) eingesetzt werden. Dieses geht mit der angestrebten modularen Umsetzung einher, welche eine spätere einfache Erweiterung des Systems erlaubt, beispielsweise zur globalen Lokalisierung der Europaletten im Logistikzentrum und zur Erstellung von Palettierungs- und Depalettierungssystemen. Das gewählte Thema gibt einen engen thematischen Anschluss zu verschiedenen Forschungsarbeiten in Richtung digitale Bild-/Geometrieverarbeitung am LS VII, Softwareentwicklung für Eingebettete Systeme am LS XII und hoch aktuelle Fragestellungen im Kontext des IMLs und erlaubt damit den Teilnehmenden, sich für eine Reihe von möglichen Master- und Diplomarbeiten an den Lehrstühlen zu qualifizieren.