elektro AUTOMATION: Was ist das Besondere an der neuen IDS-NXT-Serie?
Seitz: Die IDS-NXT-Plattform bildet die Basis für eine neue Generation äußerst wandlungsfähiger Industriekameras von IDS. Sie führen Aufgaben autonom aus oder unterstützen PC-Anwendungen sowie Maschinensteuerungen mit vorverarbeiteten Daten. Und durch unser App-basiertes Funktionsprinzip sind die Kameras IDS NXT Rio & Rome, die eine neue Evolutionsstufe digitaler Industriekameras bilden, dabei so wandlungsfähig wie Smartphones. Anwender bestimmen durch Vision Apps schnell und flexibel, welche Bildverarbeitungsaufgabe ausgeführt werden soll. Wiederkehrende Vision-Aufgaben lassen sich damit schnell einrichten und wechseln. Aber auch maßgeschneiderte Lösungen sind damit sehr einfach realisierbar. Per App-Entwicklungskit können Anwendern individuelle Vision Apps in wenigen Schritten selbst erstellen und auf IDS-NXT-Kameras installieren sowie ausführen. Je nach App liefert die Kamera Ergebnisse oder Signale direkt an Maschinensteuerungen oder unterstützt PC-basierte Anwendungen mit vorverarbeiteten Daten. Als vollwertige Industriekamera agieren sie zudem weiterhin auch als klassischer Bildlieferant. Darüber hinaus ermöglicht eine von IDS entwickelte KI-Vision-App sogar eine Verwendung als KI-Beschleuniger und macht die IDS-NXT-Plattform somit „KI-Ready“.
elektro AUTOMATION: Inwiefern unterscheidet sich das Vision-App-basierte IDS-NXT-Konzept von anderen programmierbaren Kameras, die es Anwendern ermöglichen, selbst erstellte Funktionalitäten direkt in der Kamera auszuführen?
Seitz: IDS NXT Rio & Rome sind extrem vielseitige Embedded-Vision-Geräte. Als Teil der IDS-NXT-Produktfamilie profitieren sie von der frei programmierbaren Plattform, die für eine Vielzahl von Anwendungen entwickelt wurde. Obwohl die Kameras individuelle Bildverarbeitungsaufgaben in Form von Vision Apps zur Laufzeit laden und ausführen können, besitzen sie den Funktionsumfang und die Datenübertragungsleistung einer Standard-Industriekamera mit GenICam-Schnittstelle. IDS kombiniert somit mit dieser neuen Kamerafamilie zwei Geräte in einem. Hardwareseitig wird die Kameraplattform durch einen zur Laufzeit programmierbaren FPGA unterstützt, wodurch der komplette Datenpfad flexibel nutzbar wird. Eine von IDS entwickelte KI-Vision-App verwandelt diesen parallel arbeitenden FPGA der Modelle Rio und Rome in einen KI-Prozessor, der viele bereits bekannte Architekturen künstlicher neuronaler Netze (KNN) Hardware-beschleunigt ausführen kann.
elektro AUTOMATION: Können die entsprechenden Daten in Drittanwendungen genutzt werden?
Seitz: Durch Smart GenICam können Konfiguration, Steuerung und Ergebnisse solcher Vision Apps über die XML-Beschreibungsdatei der Kamera in jeder GenICam-konformen Drittanwendung wie Halcon von MVTec zur Verfügung stehen. Anwender müssen sich deshalb wegen fehlender Kamerafeatures nicht gleich nach einem neuen Modell umschauen oder lange auf ein Firmware-Update des Herstellers warten. Individuelle Vision-App-Funktionalitäten werden durch IDS NXT Smart GenICam wie jedes herstellerseitige Feature ohne zusätzliche Treibersoftware aus jeder GenICam-Anwendung von der Kamera abgefragt und angesprochen.
elektro AUTOMATION: Welche Fähigkeiten müssen Anwender mitbringen, um selbst Funktionalitäten programmieren zu können?
Seitz: Die Programmierung eigener Kamerafunktionalitäten folgt vollständig den Prinzipien der Entwicklung mit GenICam-konformen Geräten. Kamerafeatures werden dadurch wie normale Kameraanwendung am PC mit C++, einer IDS-NXT-Kamera und vollständigem Zugriff auf alle Hardwarekomponenten entwickelt. Das Vision-App-Entwicklungskit ermöglicht per Knopfdruck die Konvertierung in eine Vision App für die Ausführung on-camera. Das unterscheidet die IDS-NXT-Produktfamilien von klassischen Smart Kameras, die in der Regel über PC-ähnliche Betriebssysteme verfügen und gänzlich anders programmiert und angesprochen werden wie eine klassische Industriekamera. IDS NXT zielt darauf ab, die gelernten Arbeitsweisen der Anwender zu unterstützen und nicht zu verändern.
elektro AUTOMATION: Welche Möglichkeiten bieten immer leistungsfähigere Embedded-Vision-Komponenten in Zusammenhang mit der IDS-NXT-Serie sowie künstlichen neuronalen Netzen?
Seitz: Künstliche Neuronale Netze (KNN) interpretieren mittlerweile komplexe Bildinhalte mit unerreichter Genauigkeit und bieten Lösungen, die sich durch die manuelle Programmierung mit grundlegenden Algorithmen bisher selbst mit hohem Aufwand nicht realisieren ließen. Anomalien erkennen, Früchte klassifizieren, Oberflächen prüfen, Leiterplatten und deren Bestückung verifizieren und vieles mehr. Durch leistungsfähige Embedded-Vision-Komponenten wie Industriekameras der IDS-NXT-Familie hat der Anwender zudem die Wahl, ob die künstliche Intelligenz klassisch auf einem PC, in der Cloud oder auf einer Embedded-Vision-Kamera ausgeführt wird, die sich damit neben der Bereitstellung von Bilddaten auch direkt um die Auswertung der Daten kümmert. Bildanalysen finden dann dezentral statt, wodurch sich Bandbreiten-Engpässe in der Übertragung vermeiden lassen. Mit der Verbreitung und Vernetzung solcher „cyberphysischen Bausteine“ werden nach dem Prinzip des Internet of things (IoT) direkte Prozessdaten verfügbar, welche die Automatisierung und das Verarbeitungstempo von Prozessen der industriellen Fertigung nachhaltig vorantreiben.
elektro AUTOMATION: Und über welche Kanäle kann man mit den Kameras kommunizieren?
Seitz: Die Vision-App-basierten Embedded-Geräte IDS NXT Rio & Rome sind voll ausgestattete Standard-Industriekameras. Dementsprechend kommunizieren sie über bekannte Schnittstellen wie digitale Ein- und Ausgänge, RS-232 oder Ethernet mit voller Gigabit-Ethernet-Geschwindigkeit. Manche Modelle der IDS-NXT-Familien verfügen zudem über einen zusätzlichen Webserver, der Ergebnisse und Statusinformationen auch mobilen Webanwendungen über das HTTP-Protokoll oder die gesicherte Variante HTTPS zur Verfügung stellt. Dies macht die Geräte nicht nur plattformunabhängig, sondern durch die weite Verbreitung der TCP/IP-Infrastruktur auch sehr vielseitig in unterschiedlichen Anwendungen nutzbar. Um die eigenständige Arbeitsweise im Industrieumfeld weiter zu fördern, werden darüber hinaus auch Modellvarianten mit Industrieprotokollen wie Profinet oder OPC-UA erscheinen.
elektro AUTOMATION: Welche Funktionalitäten bietet IDS selbst zur Nutzung an?
Seitz: Die Erstellung von Vision Apps wird durch Dokumentation sowie ein spezielles App Entwicklungskit unterstützt. Auf der IDS Webseite werden zudem einige Anwendungen als fertig ausführbare Vision Apps und als Sourcecode Pakete zum Download angeboten. Neben einem Codeleser und einem seriellen Gateway mit dem App-Ergebnisse kommuniziert werden können, gibt es Apps zur Gesichtserkennung und einfache Bildverarbeitungen, wie das Zählen von Würfelaugen oder einer Grauwertanalyse. Sie bieten einen schnellen und einfachen Einstieg in die Vision App Programmierung, können vom Anwender direkt verwendet werden oder dienen als Grundlage für eigene Anwendungen.
Speziell entwickelte Vision Apps wie die KI-Vision-App zeigen hingegen den erweiterten Einsatzbereich der IDS-NXT-Plattform: Sie verwandelt die Plattform in eine leistungsstarke Inferenzkamera mit integriertem KI-Prozessor: Anwender können ihre vortrainierten neuronalen Netze auf die Kameras laden und diese dann für Aufgaben wie Objekterkennung oder Klassifizierung verwenden. Die FPGA-basierte Hardware-Beschleunigung ermöglicht Inferenzzeiten von wenigen Millisekunden. Die speziell für kompatible Netzarchitekturen entwickelte Interpreter-Anwendung IDS NXT Ferry übernimmt ihrerseits die Konvertierung von vorhandenen KNNs für die Verwendung auf der Embedded-Vision-Plattform. Systemintegratoren erzeugen damit auf einfache Weise cyberphysische KI-Bausteine für die Industrie von morgen.
elektro AUTOMATION: Es war schon von der Einbeziehung von Drittanwendungen wie etwa Halcon von MVTec die Rede. Welche Möglichkeiten bietet die Plattform hier allgemein?
Seitz: Mit dem IDS-NXT-Konzept präsentiert der Kamerahersteller eine völlig „skalierbare“ Herangehensweise. Als autonom agierende Industriekamera, die fertige, prozessrelevante Informationen bereitstellt, können plattformkompatible Frameworks wie Halcon oder auch Opensource-Bibliotheken wie OpenCV genutzt werden, um Bildverarbeitungsaufgaben völlig eigenständig zu bearbeiten. Aber auch eine rein unterstützende Nutzung der IDS-NXT-Plattform ist möglich, wodurch jede Drittanwendung vorverarbeitetes Bildmaterial standardkonform nutzen kann.
elektro AUTOMATION: Abschließend noch zwei Fragen zur Zukunft. Welche Produkte der IDS-NXT-Familien sind bereits erhältlich? Und welche weiteren Schritte sind bereits geplant?
Seitz: Der bereits verfügbare IDS NXT Vegas ist das erste Device der neuen Gerätefamilie. Durch den integrierten 1,3 MP-CMOS-Sensor, eine Flüssiglinse, LED-Beleuchtung sowie einen ToF-Sensor (Time-of-Flight) zur Abstandsmessung ist er für Embedded-Bildverarbeitungsaufgaben bestens geeignet. Mit den erwähnten Modellen IDS NXT Rio und Rome wächst die Vision-App-basierte Plattform im zweiten Quartal 2019 um vollwertige Standard-Industriekameras mit großer Sensorvielfalt. Die mitgelieferten Softwaretools wie der KI-Interpreter IDS NXT Ferry sollen es Systemintegratoren auf einfache Weise ermöglichen, vortrainierte neuronale Netze für die Embedded-Plattform vorzubereiten. IDS vereinfacht damit den Schritt von der KI-Anwendungsentwicklung zur produktiv arbeitenden Embedded Vision Hardware.
Durch die vollständige Standardisierung der Kameraschnittstelle in der zweiten Jahreshälfte werden IDS-NXT-Industriekameras außerdem automatisch mit GenICam-kompatiblen Anwendungen funktionieren. Dazu ist keine Installation von irgendeiner Software oder eines Treibers notwendig. Applikationen mit IDS-Industriekameras können dann sehr einfach auf IDS NXT portiert werden. Und ebenfalls bereits im zweiten Quartal 2019 werden wieder sämtliche Kamerafamilien unter der neuen IDS Peak Software Suite vereint. Damit lösen wir das bewährte uEye SDK durch ein neues standardkonformes Software-Development-Kit (SDK) mit einfachem Programmierinterface ab.
Details zur IDS-NXT-Plattform:
Hannover Messe 2019: Halle 17, Stand D40
(Mitaussteller am Stand von Franka Emika)
Heiko Seitz, Technischer Redakteur bei IDS Imaging Development SystemsBild: IDS Imaging Development Systems
„Durch Smart GenICam stehen individuelle Kamerafunktionalitäten als Vision Apps wie jedes herstellerseitige Feature ohne zusätzliche Treibersoftware jeder GenICam-konformen Drittanwendung zur Verfügung.“
