Sprachen

SEMI - SS 2018, WS 2018/2019

Thema: 

SEMI – Sichere und Effiziente Mensch-Maschine-Kooperation in der Intralogistik

Zeitraum: 

SS 2018, WS 2018/2019

Umfang: 

8 SWS pro Semester

Veranstalter: 

Dr. Frank Weichert, Informatik 7 (Graphische Systeme),
OH16, R.121, Tel.: 6122, E-Mail: frank.weichert@cs.uni-dortmund.de
Dr. Lars Hildebrand, Informatik 14 (Software Engineering),
OH12, R.2.018, Tel.: 6375, E-Mail: lars.hildebrand@tu-dortmund.de
Moritz Roidl, Lehrstuhl für Förder- und Lagerwesen (FLW),
Joseph-von-Fraunhofer-Str. 2-4, LogistikCampus A 4.09, Tel.: 3092, E-Mail: moritz.roidl@tu-dortmund.de

Einzelpräsentation: 

Dienstag, den 19.12., um 15.00 Uhr in der OH14, Raum E04

Thematik: 

a) Motivation:Zukünftig werden Menschen und Maschinen in Produktion und Logistik immer enger zusammenarbeiten (Abbildung 1(a)). Hierbei gilt es, die optimale Kombination aus den kognitiven Fähigkeiten, der evolutionären Anpassungsfähigkeit des Menschen und der gleichbleibenden Leistungsfähigkeit von Maschinen zu finden. Autonom agierende Fahrzeuge bahnen sich ihren Weg selbst durch das Lager, transportieren Stückgut, Paletten und Regale. Drohnen können sowohl rollen als auch fliegen und übernehmen die Inventur im Lager. Roboter oder Menschen klettern an den Regalen entlang und „picken“. Im Lager der Zukunft gibt es nur noch wenig festinstallierte Infrastruktur - und mittendrin stehen mit elektronischen Hilfsmitteln ausgestattete Menschen, die Technik nicht nur überwachen, sondern vielmehr mit Technik interagieren. Dieses neuartige Zusammenspiel von Mensch und Technik - hier exemplarisch für die Intralogistik dargestellt - wird durch die Digitalisierung ermöglicht [11]. Zäune und feste Fahrwege bzw. Wege auf denen sich nur die Menschen bewegen müssen aus Gründen der Flexibilität der Vergangenheit angehören, um ein agiles und hochdynamisches Kooperieren zu ermöglichen. Hierbei sind aber insbesondere zwei Punkte sicherzustellen. Zum einen dürfen die Menschen nicht gefährdet werden (z.B. durch Kollisionen mit Maschinen oder Robotern), aber auch der effiziente Betrieb muss gewährleistet werden, um eine ökonomisch sinnvolle Alternative zu bewährten Systemen zu bieten.

Abbildung 1: <strong>(a)</strong> Logistisches Szenario mit Mensch-Maschine-Interaktion und <strong>(b)</strong> Visualisierung der Versuchsinfrastruktur in der Halle des FLWAbbildung 2: (a) Logistisches Szenario mit Mensch-Maschine-Interaktion und (b) Visualisierung der Versuchsinfrastruktur in der Halle des FLW

Ausgehend von dieser Problemstellung ist die Zielsetzung der Projektgruppe der Entwurf und die Implementierung eines Systems zur kollaborativen Interaktion von fahrerlosen Transportsystemen, Drohnen und dem Menschen. Zur Untersuchung steht der Projektgruppe die Forschungshalle des „Innovationslabors“ (www.innovationslabor-logistik.de) am Lehrstuhl für Förder- und Lagerwesen (LogistikCampus) zur Verfügung, welche mit logistischen Akteuren versehen ist, u.a. Transportroboter, Transportdrohnen, Behälter und Assistenzsysteme (Abbildung 1(b)). Zudem verfügt die Halle über umfangreiche Sensorik:

  • Echtzeit-konformes optisches Lokalisierungssystem mit passivem Infrarot-Tracking und Hightech-Kameras
  • Flur-integrierte optische und funkbasierte Matrix aus Lokalisierungsmarkern.
Im Aufbau befindet sich zudem ein verteiltes Funkmesssystem (Distributed RF Measurement System), das Messungen über das dreidimensionale Verhalten drahtloser Kommunikationstechniken erlaubt und ein System aus optischen Markern an vertikalen Oberflächen, welches ebenfalls zur Lokalisierung dient. Ergänzt wird die „Hallensensorik“ durch spezifische 2D- und 3D-Sensoren an den Akteuren. Die Aufgabenstellung beinhaltet die Ermittlung von Positions- und Bewegungsdaten der beteiligten Akteure zur vereinheitlichten Bewegungsplanung und Kollisionsvermeidung. Dabei ist insbesondere die Klassifikation und Prädiktion kritischer Konstellationen (u.a. Kollisionen) in Anbetracht der unterschiedlichen Bewegungsformen (Fahrzeug, Drohne, Mensch) eine Herausforderung aber auch der hohe Freiheitsgrad menschlicher Bewegungen. Eine Grundvoraussetzung ist die exakte dreidimensionale Lokalisation der Akteure über die Sensorik respektive Sensordatenverarbeitung. Vorgesehen ist dabei sowohl der vereinheitlichte Einsatz des IR-Tracking-Systems als auch der optischen 2D- und 3D-Sensoren (auf den Fahrzeugen und Drohnen). Mit der zunehmend bedeutsamen Autonomie der Akteure und einer dezentralen Prozessierung sollen wesentliche Verfahren für die mobilen Einheiten (eingebetteten Systemen) unter Verwendung einer Grafikprozessoreinheit erarbeitet werden oder evtl. in einer hybriden Lösung (Server und mobile Einheiten).

b) Aufgabenbeschreibung: Aus Sicht der Informatik umfasst das Gesamtkonzept der Projektgruppe zwei wesentliche Aufgabengebiete, die in einem Optimierungs- und Validierungszyklus eingebunden sind. Ein Teilgebiet fokussiert sich dabei auf die Sensor-gestützte Objekterkennung und -Lokalisation sowie die Klassifikation kritischer Konstellationen und damit verbunden die Planung kollisionsfreier kooperativer Bewegungen. Das zweite Teilgebiet beinhaltet die Untersuchung der kompletten Sensorik und Aktorik bzgl. der zeitlichen und örtlichen Genauigkeit respektive Robustheit und der Realisierung spezifischer Kalibrierungsverfahren für das Szenarium. Das zweite Teilgebiet beinhaltet Untersuchungen im Hinblick auf die zu erreichende Güte des Systems u.a. bzgl. Geschwindigkeit und Position durch die vorhandene Sensorik sowie die Entwicklung von Methoden aus den Themengebieten Synchronisation, Kommunikation und Kalibrierung, um diese Zielkriterien zu optimieren. Dabei werden die verschiedenen Aufgabengebiete während der gesamten Projektgruppe parallel bearbeitet. Das erste Teilgebiet umfasst folgende Arbeitspunkte:

  • Detektion und Tracking:In Anbetracht der spezifischen Herausforderungen, u.a. gleichzeitiges Verfolgen mehrerer Aktoren und Abgleich mit den unterschiedlichen Bewegungsformen (Fahrzeug, Drohne, Mensch), sind Feature-gestützte und selbstlernende Detektions- und Trackingverfahren zu berücksichtigen. Methodische Ansätze beruhen auf probabilistischen Algorithmen, u.a. Kalman- oder Partikel-Filter, als auch Convolutional Neural Networks (CNN) [6], welche über die Integration ergänzender Verfahren verfeinert werden können, z.B. Optical Flow [5] oder Tracklets [8].
  • Bewegungsplanung:Über diese Komponente soll die Bewegungsplanung unter Beachtung der Bewegungsprimitive (Fahr-/Flugfähigkeiten) der verwendeten Akteure sowie von Umgebungsänderungen realisiert werden. Gemäß dieser Zielsetzung ist eine Kombination aus globaler (Start-Ziel) und lokaler (reaktiver) Bewegungsplanung zu erarbeiten, wobei die lokale Bewegungsplanung die direkte Steuerung (Geschwindigkeit, Lenkung) und die Reaktion auf Hindernisse durch eine lokale Umwegplanung beinhaltet. In Anbetracht der hybriden Dimensionalität (2D, 3D) sind etablierte Navigations-Konzepte, z.B. zur Kombination topologischer und gridbasierter Karten [10] als auch Planungsalgorithmen, z.B. DWA (Dynamic Window Approach) [4] oder TEB (Timed-Elastic-Bands) [9], den Gegebenheiten anzupassen.
  • Kollisionserkennung und -prädiktion:Eine Grundvoraussetzung zur kollaborativen Bewegungsplanung ist die sichere Erkennung von kollisionsgefährdenden Situationen (Klassifikation) und frühzeitige Ermittlung potenziell kritischer Situationen (Prädiktion). Entsprechende Modellierungen können z.B. über (Hidden) Conditional Random Fields, Hidden-Markov-Modelle oder Vector-Field-Histograms erfolgen sowie über spezifische kooperative und prädiktive Ansätze [7]. Bedeutsam für die Klassifikation kritischer Situationen ist auch das neue Forschungsfeld des Geometric Deep Learning [2]. Dabei wird die Konstellation der beteiligten Akteure, modelliert als Graph mit Ortsinformation, über einen GraphCNN-gestützten Ansatz klassifiziert.
  • Multicore-Programmierung für eingebettete Systeme:Um eine echtzeitfähige Verarbeitung der Detektions- und Klassifikationsalgorithmen zu garantieren und möglichst flexible Verarbeitungsplattformen verfügbar zu haben, sind die Verfahren für Grafikkarten bzw. auch homogene Multicoresysteme zu realisieren. Dabei ist zu berücksichtigen, dass die Verarbeitung möglichst direkt auf den eingebetteten Systemen der Akteure erfolgen soll, welche verschiedenen Ressourcenlimitierungen (u.a. Energie, Berechnungszeit) unterworfen sind.

Das zweite Teilgebiet der Projektgruppe beschäftigt sich mit der Analyse/Evaluierung des Systems im Hinblick auf Genauigkeit, Robustheit und Ausfallsicherheit sowie der Sicherstellung dieser Anforderungen. Teilaspekte sind die erfolgreiche Synchronisation und Kommunikation der Akteure sowie die Kalibrierung des Systems. Hierzu sind folgende Arbeitspunkte umzusetzen:

  • Synchronisation und Kommunikation:Ausgehend von der Auswahl an Aktoren und unterschiedlichen Sensoren zur Erfassung von Position, Orientierung und Geschwindigkeit muss eine gleichzeitige und/oder gekoppelte Informationsverarbeitung realisiert werden. Dies erfordert Methoden zur Sensordatenfusion sowie zur örtlichen und zeitlichen Registrierung/Synchronisierung. Zur Kommunikation soll ausgehend von dem vorhandenen Funkmesssystem eine ressourceneffziente, dienstbasierte Middleware bereitgestellt werden, welche eine direkte und transparente (Gruppen-)Kommunikation erlaubt - Aufbau des Sensor-Aktor-Netzwerks [3].
  • Kalibrierung:In Anbetracht der vorliegenden multimodalen Sensorik soll unter Beachtung der spezifizierenden Anforderungen an die Berechnungszeit und Genauigkeit des Gesamtsystems eine intrinsische sowie extrinsische Kalibrierung durchgeführt werden. Während die Kompensierung der sensortypischen Artefakte, wie z.B. der „Geisterbilder“ beim IR-Tracking-System das Ziel der intrinsischen Kalibrierung bildet, stellt die extrinsische Kalibrierung einen Bezug der Koordinatensysteme der einzelnen Sensoren zueinander sowie zum Koordinatensystem der Aktoren her.
  • Evaluierung:Die Zielsetzung der Evaluierung ist die Untersuchung aller Konzepte und Methoden des Gesamtsystems unter dem Gesichtspunkt einer korrekten Verzahnung und Abstimmung der Algorithmen aufeinander. An dieser Stelle soll insbesondere die Genauigkeit des Gesamtsystems, Robustheit und Ausfallsicherheit des Systems aber auch der beteiligten Teilkomponenten kritisch analysiert werden.
Bei der Umsetzung der Systemlösung sollen verschiedene Entwurfsphasen beachtet und adäquate Werkzeuge (Quellcodeverwaltung, Wiki-System, Bugtracking) eingesetzt werden [1]. Dieses geht mit der angestrebten modularen Umsetzung einher, welche eine spätere, einfache Erweiterung des Systems erlaubt, z.B. zur Abbildung komplexer logischer Anwendungskonstellationen. Das gewählte Thema gibt einen engen thematischen Anschluss zu verschiedenen Forschungsarbeiten und hoch aktuellen Fragestellungen und erlaubt damit den Teilnehmenden, eine profunde Basis für mögliche Abschlussarbeiten an den Lehrstühlen zu erarbeiten.

Teilnahmevoraussetzungen:

  • Eines der Module Mensch-Maschine-Interaktion, Eingebettete Systeme, Digitale Bildverarbeitung, Datenvisualisierung, Webtechnologien, Computervision, Graphische Datenverarbeitung, Mustererkennung, Software ubiquitärer Systeme oder vorlesungsäquivalente Kenntnisse [vorausgesetzt]
  • Kenntnisse in einer Programmiersprache, z. B. Java, C++ oder C [vorausgesetzt]

Minimalziele:

Entwurf und Implementierung eines echtzeitfähigen Systems zur Bewegungsplanung bei einer Beschränkung auf Fahrzeuge und Drohnen sowie der ausschließlichen Verwendung des IR-Tracking-Systems.

Literatur:

[1] H. Balzert. Lehrbuch der Software-Technik. Spektrum Akademischer Verlag, 1997.
[2] M. Bronstein, J. Bruna, Y. LeCun, A. Szlam, and P. Vandergheynst. Geometric deep learning: going beyond euclidean data. IEEE Signal Processing Magazine, 34(4):18–42, 2017.
[3] R. Brooks and S. S. Iyengar. Multi-sensor fusion: fundamentals and applications with software. Prentice-Hall, Inc., 1998.
[4] D. Fox, W. Burgard, and S. Thrun. The dynamic window approach to collision avoidance. Robotics Automation Magazine, IEEE, 4(1):23–33, 1997.
[5] B. Horn and B. Schunck. Determining optical flow. Artificial Intelligence, 17(1):185–203, 1981.
[6] R. Kasturi and et al. Framework for performance evaluation of face, text, and vehicle detection and tracking in video: Data, metrics, and protocol. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2009.
[7] C. Prévost, A. Desbiens, E. Gagnon, and D. Hodouin. UAV optimal cooperative target tracking and collision avoidance of moving objects. In 16th Mediterranean Conf. on Control and Automation, 2008.
[8] M. Raptis and et al. Tracklet Descriptors for Action Modeling and Video Analysis, pages 577–590. 2010.
[9] C. Rösmann, F. Hoffmann, and T. Bertram. Timed-elastic-bands for time-optimal point-to-point nonlinear model predictive control. In European Control Conference, pages 3352–3357, 2015.
[10] S. Thrun. Learning metric-topological maps for indoor mobile robot navigation. Artificial Intelligence, 99(1):21–71, 1998.
[11] C. Tuellmann, M. ten Hompel, A. Nettstraeter, and C. Prasse. Social Networked Industry ganzheitlich gestalten - In Future Challenges in Logitsics and Supply Chain Management. Technical report, Fraunhofer IML, 2017.

Rechtliche Hinweise:

Die Ergebnisse der Projektarbeit inklusive der dabei erstellten Software sollen der Fakultät für Informatik und dem Lehrstuhl für Förder- und Lagerwesen uneingeschränkt zur freien Forschung und Lehre zur Verfügung stehen. Darüber hinaus sind keine Einschränkungen der Verwertungsrechte an den Ergebnissen der Projektgruppe und keine Vertraulichkeitsvereinbarungen vorgesehen.