Shopfloor-Kameradaten überall verfügbar machen

Wie Amorph Systems eines der hartnäckigsten Probleme der industriellen IoT löst: große Datenmengen wie Videoaufnahmen aus dem Shopfloor heraus zu den Systemen zu bringen, die sie benötigen.

Das Problem, über das niemand spricht

Jeder in der industriellen Fertigung weiß, dass die Produktionsebene in Daten ertrinkt. Kameras überwachen Öfen, inspizieren Scrap, klassifizieren Bauteile und erkennen Defekte in Echtzeit. Doch was selten in Präsentationen erwähnt wird: Der Großteil dieser Videodaten verlässt niemals die Shopfloor-Ebene. Diese Daten stehen für Machine Learning, Qualitätsinspektionen oder sogar Archivierung oft nicht auf einem automatisierten, sicheren und zuverlässigen Weg zur Verfügung.

Der Grund dafür ist die Infrastruktur. OT-Netzwerke (Operational Technology) und ihre standardisierten Softwareprotokolle wurden für kleine, zeitkritische Steuerungssignale und Metadaten entwickelt — nicht für das Streaming von mehrere Megabyte große Bilddateien oder kontinuierliche Videostreams. Werden große Binärdaten durch diese Netzwerke übertragen, besteht das Risiko, Datenpipelines zu überlasten, Latenzspitzen auszulösen und genau die Systeme zu destabilisieren, die die Produktion am Laufen halten. Ganz zu schweigen davon, dass zentrale Message Broker nicht dafür ausgelegt sind, solche Lasten zu bewältigen.

Das Ergebnis: Die Videos verbleiben an der Edge. Theoretisch wertvoll, praktisch jedoch unzugänglich.

Die zentrale Herausforderung
Kamerasysteme erzeugen umfangreiche und hochwertige Daten. Doch die Netzwerke, die Produktionsbereiche mit IT-Systemen und Analyseplattformen verbinden, wurden nie dafür gebaut, diese Datenmengen zu transportieren. Diese Lücke zu schließen, ohne bestehende Systeme zu beeinträchtigen, ist die eigentliche Herausforderung.

ENCIRCLE tritt auf den Plan

ENCIRCLE — kurz für „Enabling Circular Value Chains via Production Digitization and Human Empowerment“ ist eine Forschungs- und Innovationsinitiative im Rahmen von Horizon Europe, die von Oktober 2024 bis September 2027 läuft. Ziel ist es, den Übergang vom traditionellen „Produzieren–Nutzen–Entsorgen“-Modell hin zu echten Kreislaufsystemen in der Fertigung zu beschleunigen.Das ENCIRCLE-Projekt mit der Fördervereinbarungs-ID 101178230 wird von der Europäischen Union im Rahmen des Programms „Digitales, Industrie und Weltraum“ finanziert.

Im Zentrum von ENCIRCLE stehen Digitale Zwillinge und KI-gestützte Simulationen, um nachhaltigere Produktionskonfigurationen zu identifizieren, ohne Kompromisse bei der Qualität einzugehen. Dafür kombiniert das Projekt IoT, blockchainbasierte Produktnachverfolgbarkeit, erklärbare KI und menschenzentriertes Design einschließlich gamifizierter Schulungsumgebungen und einer mobilen App für Endverbraucher zu einer integrierten digitalen Fertigungsplattform.

Amorph Systems beteiligt sich als technologieorientiertes KMU mit Schwerpunkt auf IoT, intelligenter Automatisierung und Lifecycle Assessment. Unsere Rolle umfasst sowohl die Entwicklung datengetriebener Komponenten für das Umweltmonitoring als auch die Integrationsarbeit, die unterschiedliche Technologien zu einem funktionierenden Gesamtsystem verbindet.

Der Beitrag, den wir hier hervorheben möchten, ist jedoch spezifischer: Shopfloor-Kameradaten tatsächlich für den Rest des Systems verfügbar zu machen.

Sechs Anwendungsfälle, ein gemeinsames Problem

Innerhalb von ENCIRCLE werden sechs unterschiedliche kamerabasierte Szenarien entwickelt, jedes für sich wertvoll, gemeinsam jedoch eine vollständige Entwicklung von einfacher visueller Inspektion bis hin zu KI-gesteuerter Closed-Loop-Regelung.

1. Scrap-Inspection & Gewichtskorrelation
Kamerabasierte OCR- und visuelle Fehlererkennung werden mit Gewichtsmessungen kombiniert. Dadurch entsteht eine nachvollziehbare Verbindung zwischen physischem Material und seiner visuellen Klassifizierung. Das Ergebnis: annotierte Bilder und Statusupdates, die für Qualitätsüberwachung an nachgelagerte Systeme weitergegeben werden.

2. Ofenüberwachung
Interne Kamerafeeds werden mit klassischen Prozesssensoren Temperatur, Druck, Energieverbrauch kombiniert, um ein umfassenderes und kontextbezogenes Bild der Produktion zu erzeugen. Visuelle Daten bleiben nicht länger isoliert, sondern werden zu einer weiteren Ebene innerhalb eines Multi-Source-Analytics-Stacks.

3. Scrap-Sortierungsüberwachung
Echtzeitklassifizierung steuert automatisierte Sortierprozesse. Modelle zur visuellen Erkennung erzeugen Annotationen und Ereignisse, die direkt Aktionen im Produktionsablauf auslösen. Dadurch werden manuelle Eingriffe reduziert und höhere Durchsatzraten unterstützt.

4. Oberflächeninspektion & Reinforcement Learning
Optische und thermische Kameras werden gemeinsam mit Prozessparametern — Temperatur, pH-Wert, Energieverbrauch genutzt, um Reinforcement-Learning-Agenten zu trainieren. Das System beobachtet nicht nur, sondern passt sich an und optimiert Prozessentscheidungen auf Basis visueller und sensorischer Daten.

5. NeRF-basierte Digitalisierung
Videostreams aus mehreren Perspektiven werden zusammen mit kontextbezogenen Ofendaten verwendet, um detaillierte 3D-Modelle industrieller Anlagen zu rekonstruieren. Diese Modelle fließen direkt in Simulationsumgebungen ein und schaffen Digitale Zwillinge, die die physische Shopfloor-Ebene erweitern.

6. Audio-visuelle Inspektion & 3D-Rekonstruktion
Das Multimedia-Szenario: Kameras, Audiosensoren und mobile Datenquellen arbeiten gemeinsam. Fortschrittliche Modelle führen Segmentierung und Defekterkennung durch und erstellen gleichzeitig räumliche Karten der Umgebung strukturierte 3D-Modelle mit eingebetteten Defekt-Metadaten

Allen sechs Szenarien gemeinsam ist die Abhängigkeit von großen Binärdateien wie Bildern, Videos und 3D-Renderings aus dem Edge-Bereich und diese in Systeme zu übertragen, die darauf reagieren müssen. Zusätzlich entstehen Herausforderungen wie nicht synchronisierte Zeitstempel oder fehlender Kontext der Daten. Genau hier liegt die eigentliche technische Herausforderung.

Warum das schwieriger ist, als es aussieht

Die Konnektivitätsprobleme innerhalb von ENCIRCLE sind nicht außergewöhnlich. Es sind dieselben Herausforderungen, die industrielle IoT-Projekte überall erschweren:

• Videodaten mit hoher Bandbreite konkurrieren im selben OT-Netzwerk mit latenzkritischem Steuerungsverkehr
• Heterogene Protokolle zwischen Kamerasystemen, industriellen SPSen und IT-Infrastrukturen erfordern Vermittlungsschichten wie MQTT, damit Geräte überhaupt miteinander kommunizieren können
• Sicherheits- und Netzwerksegmentierungen schränken den Datenfluss zwischen IT- und OT-Bereichen bewusst ein
• Die Synchronisierung asynchroner Kamerastreams mit zeitgestempelten Sensordaten ist komplex
• Edge-Computing-Deployments und Lifecycle-Management im großen Maßstab müssen in heißen, staubigen und vibrationsintensiven Umgebungen funktionieren

Die größte Herausforderung lässt sich jedoch überraschend einfach formulieren: IoT-Plattformen wurden nicht für die Übertragung großer Dateien entwickelt. Viele unterstützen große Binärdatenpakete überhaupt nicht nativ. Werden Bilder über Protokolle übertragen, die ursprünglich für kleine Steuerungspakete entwickelt wurden, sind Zwischenspeicherung, Buffering und Dateitransfermechanismen erforderlich was zusätzliche Latenz, Komplexität und potenzielle Fehlerquellen mit sich bringt. Um dieses Problem zu umgehen, werden Binärdaten häufig kodiert (z. B. Base64) und in nicht-binäre Datenformate wie JSON eingebettet, was unnötige Rechenlast verursacht.

In Umgebungen mit begrenzter oder instabiler Bandbreite ist es äußerst anspruchsvoll, eine zuverlässige Datenübertragung sicherzustellen, die Datenintegrität zu gewährleisten und gleichzeitig die Produktion nicht zu beeinträchtigen.

Die Lösung: Den Datenfluss umkehren

Die architektonische Kernidee unseres Ansatzes ist einfach, aber entscheidend: Dateien nicht mehr aktiv durch eingeschränkte OT-Netzwerke zu drücken. Stattdessen bleiben die Daten am Edge, und autorisierte Systeme rufen sie bei Bedarf ab.

Zentrales Designprinzip
Durch die direkte Bereitstellung der SMARTUNIFIER Communication Instance auf dem Edge-Gerät verbleiben Dateien lokal. Eine REST-API stellt sie autorisierten Verbrauchern netzwerkübergreifend bei Bedarf zur Verfügung nicht kontinuierlich.

Das bedeutet in der Praxis:

• Dateitransfers werden von Echtzeit-Steuerungsprozessen entkoppelt, sodass große Datenmengen nicht mit zeitkritischem OT-Verkehr konkurrieren
• Speicherung und Verarbeitung bleiben nahe an der Datenquelle, wodurch weniger Daten Netzwerkgrenzen überschreiten müssen
• Der Zugriff ist kontrolliert und nachvollziehbar Systeme fordern genau die Daten an, die sie benötigen, wann sie sie benötigen, über eine definierte Schnittstelle
• Der Ansatz ist skalierbar: Neue Kameras oder KI-Systeme können hinzugefügt werden, ohne die zugrunde liegende Netzwerkarchitektur neu zu entwerfen

Das Ergebnis ist ein Konnektivitätsmodell, das die Einschränkungen der Shopfloor-Ebene respektiert und gleichzeitig Kameradaten für Analyse-, Reinforcement-Learning- und Simulationsplattformen tatsächlich nutzbar macht.

Was das für die Kreislaufwirtschaft in der Fertigung bedeutet

Die übergeordnete Vision von ENCIRCLE zirkuläre Wertschöpfungsketten, Digitale Produktpässe und KI-gesteuerte Optimierung funktioniert nur mit einer stabilen Dateninfrastruktur. Ein Reinforcement-Learning-Agent kann nicht mit Kameradaten trainiert werden, auf die er keinen Zugriff hat. Ein sinnvoller Digitaler Zwilling kann nicht aus Videodaten entstehen, die niemals das Edge-Gerät verlassen.

Shopfloor-Kameradaten überall verfügbar zu machen, ist daher grundlegende Arbeit. Es ist nicht die große Schlagzeile von ENCIRCLE, aber es ist die Voraussetzung dafür, dass die eigentlichen Kernfunktionen überhaupt möglich werden.

Während der 36-monatigen Projektlaufzeit werden wir diese Architektur in realen Produktionsumgebungen validieren und auf Basis unserer Erkenntnisse weiterentwickeln. Weitere Einblicke werden wir im Verlauf des Projekts teilen.

ENCIRCLE ist ein Horizon-Europe-Projekt (Oktober 2024 – September 2027). Amorph Systems beteiligt sich als Partner für IoT und intelligente Automatisierung und trägt zur Systemintegration sowie zum datengetriebenen Umweltmonitoring bei.