Maschinen liefern Zustandsdaten in Echtzeit, trotzdem bleibt offen, warum Material fehlt und Stapler warten. In der SmartFactoryOWL in Lemgo erfassen Kameras mit eigener KI laufend, wer und was sich wo bewegt, und melden die Positionen an einen Omlox-Hub.

Textquelle: Imago Technologies

Die permanente Verbesserung von Maschinen und Anlagen in der Industrie zählt zu den obersten Geboten, um eine wirtschaftliche Produktion zu ermöglichen und dadurch den Gewinn zu maximieren. Folgerichtig setzen Fertigungsunternehmen in der Regel alles daran, aussagekräftige Produktionskennzahlen zu gewinnen und diese detailliert zu analysieren, um mögliche Schwachstellen ausfindig zu machen und abzustellen.

«In den vergangenen Jahren haben Unternehmen erhebliche Investitionen in Digitalisierung, Automatisierung und Datenanalyse getätigt», weiss Dr.-Ing. Holger Flatt, Gruppenleiter Intelligente Sensorsysteme beim Fraunhofer-Institut. «Maschinen liefern Zustandsdaten in Echtzeit, Produktionskennzahlen werden visualisiert und ERP-, MES- sowie WMS-Systeme sind eng miteinander vernetzt. Trotz dieser Massnahmen und selbst bei genauester Überwachung einzelner Anlagenaspekte bleiben die wahren Ursachen von Ineffizienzen jedoch häufig verborgen», so Flatts Erfahrung. Grund dafür ist nach seiner Überzeugung die mangelnde Transparenz bezüglich der tatsächlichen Bewegungen von Personen, Materialien und Transportmitteln innerhalb einer Fabrik.

«Eine zentrale Frage bleibt häufig unbeantwortet: Wer oder was befindet sich wann und wo in der Fabrik – und warum?»

Holger Flatt, Gruppenleiter Intelligente Sensorsysteme, Fraunhofer-Institut

Suchzeiten, unnötige Wege, Wartezeiten oder Engpässe entstehen nicht an einzelnen Maschinen, sondern zwischen den Prozessen, lautet Flatts Erkenntnis. Typische Beispiele aus der Praxis: Material scheint immer wieder an den falschen Stellen zu fehlen. Mitarbeiter legen täglich weite Wege zwischen Lager, Produktion und Qualitätssicherung zurück. Stapler warten an Engpässen. Werkstücke verbringen mehr Zeit mit Transport und Warten als mit der eigentlichen Bearbeitung. In der Summe führen solche Ereignisse dazu, dass die Produktivität hinter den Erwartungen zurückbleibt. Eine objektive Materialflussanalyse schafft hier die notwendige Transparenz, um den gesamten Produktionsfluss zu bewerten und gezielt zu verbessern.

Kameras liefern die Positionen an den Omlox-Hub

Um diese Situation zu ändern, hat das Fraunhofer-Institut in enger Zusammenarbeit mit den Bildverarbeitungsexperten von Imago Technologies eine Lösung entwickelt, die Personen-, Material- und Prozessflüsse in Produktions- und Logistikumgebungen sichtbar macht. Zentraler Bestandteil dieser Lösung sind dabei Vision-Komponenten des Friedberger Unternehmens: Mit Nvidia-Jetson-Modulen ausgestattete Smart-Kameras vom Typ Vision Cam XM2 erfassen das Produktionsumfeld als RGB-Bild und führen direkt auf der Kamera eine KI-gestützte Personen- und Objektdetektion sowie ein Tracking von Objekten durch. Die kontinuierliche Echtzeitlokalisierung bildet die Grundlage, um Materialflüsse zu visualisieren und den gesamten Produktionsfluss transparent abzubilden.

 

Vision Cam XM2 Smart-Kameras von Imago Technologies erfassen das Produktionsumfeld als RGB-Bild und führen direkt auf der Kamera eine KI-gestützte Personen- und Objektdetektion sowie ein Tracking von Objekten durch. (Bild: Imago Technologies)

Eine von Fraunhofer entwickelte Software kalibriert dabei die Kameras, projiziert die erkannten Objekte auf die Bodenebene und erzeugt daraus 2D-Positionen. Diese werden anschliessend als Omlox-konforme Trackables an einen Omlox-Hub übertragen, wo sie für Visualisierung, Analytik und weitere IT-/OT-Systeme bereitstehen, ganz ohne zusätzlichen Edge-Server oder Cloud-Zwang.

Omlox ist der weltweit erste offene Standard für die Echtzeit-Lokalisierung in Industrieumgebungen. Er erlaubt das Tracking von Dingen wie Produktionsmitteln, Waren, Werkzeugen, Aufträgen, Fahrzeugen oder auch Personen und verbindet dazu verschiedene Ortungstechnologien wie z. B. RFID, GPS, die digitale Funktechnik für den Nahbereich UWB (Ultra-Wideband) oder Kameras über einen gemeinsamen Hub und eine einheitliche API.

Rechenleistung und Liefersicherheit geben den Ausschlag

Dass in dieser Fraunhofer-Anwendung die Vision Cam XM2 von Imago zum Einsatz kommt, hat mehrere Gründe. Zum einen erfolgt die komplette Verarbeitung der aufgenommenen Daten mit Hilfe leistungsfähiger Operatoren und unter Einsatz von KI-Algorithmen direkt in der Kamera. Hinzu kommt, dass diese Smart-Kamera trotz ihrer kompakten Abmessungen aufgrund der leistungsstarken Prozessoren und GPU-Unterstützung eine schnelle Verarbeitung grosser Datenmengen ermöglicht.

Gerade in der Industrie ist das Thema Langzeitverfügbarkeit von Komponenten ein wichtiger Aspekt bezüglich der Planungssicherheit und möglichst geringer Validierungsaufwände. Hier punktet Imago mit der Lieferfähigkeit der Vision Cam XM2 als Hardware-Plattform über viele Jahre hinweg. «Für die Umsetzung war eine Kamera-basierte Embedded-Vision-Plattform erforderlich, die eine KI-gestützte Auswertung direkt am Sensor ermöglicht und sich unter Nutzung offener Standards zuverlässig in bestehende industrielle Ortungsinfrastrukturen integrieren lässt», unterstreicht Flatt. Die Vision Cam XM2 hat sich für diesen Anwendungszweck als sehr gut geeignete Kamera erwiesen und dank der technischen Unterstützung von Imago eine problemlose Integration und eine schnelle Realisierung ermöglicht.

Dr.-Ing. Holger Flatt: «Die gemeinsam von Fraunhofer und Imago Technologies entwickelte Lösung kombiniert KI-basierte Echtzeit-Lokalisierung mit dem offenen Ortungsstandard Omlox, um Personen-, Material- und Prozessflüsse in Produktions- und Logistikumgebungen zu visualisieren und so die Optimierung in industriellen Abläufen zu vereinfachen.» (Bild: Fraunhofer Lemgo)

Das System läuft in der SmartFactoryOWL in Lemgo

Das Ergebnis der gemeinsamen Entwicklung ist mittlerweile in der Test- und Demonstrationsfabrik von Fraunhofer und der Technischen Hochschule Ostwestfalen-Lippe, der SmartFactoryOWL in Lemgo, erfolgreich im Einsatz: Imago XM2 Smart-Kameras und weitere Omlox-Sensoren erfassen die Positionen von Personen, Fahrzeugen und Materialträgern kontinuierlich und in Echtzeit. Die erfassten Daten werden im zugehörigen Omlox-Hub gesammelt und können mit Hilfe geeigneter Analytik-Tools als Heatmaps, digitale Spaghetti-Diagramme oder Durchlaufzeit- und Auslastungsgrafiken visualisiert werden. So werden typische Suchwege, Staus, Wartezeiten und Engpässe objektiv sichtbar.

«Häufig werden solche Positionsdaten noch manuell erfasst», erläutert Christoph Siemon, Vice President Sales und R&D von Imago Technologies. «Diese Methode ist kostenintensiv und zudem fehleranfällig, sie ist subjektiv und deckt in der Regel nur kurze Zeiträume ab. Im Gegensatz dazu erfasst die Lösung beim Fraunhofer-Institut alle Bewegungen kontinuierlich. Dadurch lassen sich auch seltene, aber kritische Situationen entdecken. Darüber hinaus erhält man objektive Daten, die eine perfekte Grundlage für die Optimierung von Abläufen darstellen.»

Die Integration erfolgt typischerweise parallel zum laufenden Betrieb: Kameras und Omlox-Infrastruktur werden in der Halle installiert, anschliessend kalibriert und stufenweise in Betrieb genommen. So entstehen keine längeren Produktionsstillstände, und das System kann während des Hochlaufs iterativ justiert werden.

Die Diagramme zeigen Staus, Umwege und Wartezeiten

Die Darstellung der erfassten Bewegungen kann unter anderem in Form von digitalen Spaghetti-Diagrammen erfolgen. Diese lassen sich für verschiedene Zeiträume wie beispielsweise für einzelne Schichten, bestimmte Wochen oder auch für Zeiträume vor und nach einer Layoutänderung automatisch neu erzeugen und mit Kennzahlen verknüpfen, ohne laufend Personal für neue Studien zu binden.

Die Darstellung der erfassten Bewegungen kann unter anderem in Form von digitalen Spaghetti-Diagrammen erfolgen. (Bild: Fraunhofer IOSB-INA; Bearbeitung: Imago Technologies)

Bei der Beobachtung von Mitarbeiterbewegungen ist das Thema Datenschutz ein wichtiger Aspekt, der in der gemeinsam geschaffenen Lösung entsprechend berücksichtigt wurde, unterstreicht Siemon: «Die Bildverarbeitung läuft direkt auf der Kamera, so dass nur abstrahierte Positions- und Bewegungsdaten nach aussen übertragen werden, jedoch keine Bilddaten oder identifizierende Merkmale.»

«Personen werden lediglich als neutrale, pseudonyme Objekte geführt, was die DSGVO-konforme Nutzung sichert.»

Christoph Siemon, Vice President Sales und R&D, Imago Technologies

Christoph Siemon: «Die Lösung beim Fraunhofer-Institut erfasst alle Bewegungen kontinuierlich. Dadurch lassen sich auch seltene, aber kritische Situationen entdecken.» (Bild: Imago Technologies)

Transparente Wege verkürzen Such- und Wartezeiten

Wie der erfolgreiche Einsatz des Systems bei Fraunhofer zeigt, stellt die Kombination aus KI-basierter Echtzeitlokalisierung auf Basis der Smart-Kameras XM2 von Imago Technologies und dem offenen Ortungsstandard Omlox eine leistungsfähige Lösung dar, um Personen-, Material- und Prozessflüsse transparent abzubilden. Unternehmen können Materialflüsse visualisieren, ihre Materialflussanalyse verbessern und den Produktionsfluss in Produktion, Produktionslogistik und Intralogistik nachhaltig optimieren.

«Ohne kontinuierliche räumliche Transparenz über Abläufe und Bewegungen bleiben viele Ursachen für Ineffizienzen verborgen. Unsere Arbeiten zeigen, wie KI-basierte Echtzeitlokalisierung in Verbindung mit offenen Standards dazu beitragen kann, Produktions- und Logistikprozesse objektiv zu analysieren und nachhaltig zu verbessern», so das Fazit von Fraunhofer-Gruppenleiter Flatt. Imago XM2 Smart-Kameras leisten einen wichtigen Beitrag, um solche Effizienzsteigerungen möglich zu machen.