In der Automatisierungstechnik wird die Bildverarbeitung bisher separat behandelt und oft an externe Systemintegratoren ausgelagert. Mittlerweile hat der SPS-Programmierer Kontrolle über Motion Control, Sicherheitstechnik, Messtechnik sowie Robotik und kann diese in einer Steuerung auf einem Rechner vereinen. Die Bildverarbeitung bleibt aber bisher eine Blackbox auf einem separaten leistungsstarken Rechner mit anderen Konfigurationstools und Programmiersprachen oder wird in speziell zu konfigurierenden Smart-Kameras durchgeführt. Sowohl durch den zusätzlichen Rechner als auch durch den Umstand, dass kleinste Änderungen vom Spezialisten statt vom SPS-Programmierer durchgeführt werden müssen, entstehen vermeidbare Kosten. Im Fall eines Systemintegrators befindet sich zudem das Know-how extern. Darüber hinaus muss die Kommunikation zwischen Bildverarbeitung und Steuerung geregelt werden – ein anfälliger Prozess. Die bisherige Bildverarbeitung ist damit zeitlich nicht planbar. Äußere Prozesse wie das Betriebssystem können die Verarbeitungszeit wie auch die Übertragungszeit beeinflussen, sodass die Ergebnisse nicht rechtzeitig die Steuerung erreichen.
TwinCAT Vision von der Beckhoff Automation GmbH & Co. KG vereint beide Welten softwareseitig in einem System. Die Konfiguration, insbesondere der Kameras, erfolgt im gleichen Tool wie die Konfiguration von Feldbussen oder Achsen. Die Programmierung erfolgt in den bekannten SPS-Programmiersprachen. Das spart sehr viele Kosten im Engineering, da das Erlernen spezieller Programmiersprachen entfällt und kein spezielles Konfigurationstool bekannt sein muss. Das Kommunikationsproblem zwischen Bildverarbeitung und Steuerung entfällt nicht nur, sondern Bildverarbeitungs- und Steuerungskomponenten, wie zum Beispiel Motion, können direkt miteinander kommunizieren, was ganz neue Möglichkeiten eröffnet.
Architektur des Tools
Die PC-basierte Automatisierung vereint die Steuerung auf einen PC und verfügt damit von Haus aus über eine Gigabit-Ethernet-Schnittstelle. Basierend auf Gigabit Ethernet gibt es mit GigE Vision einen Übertragungsstandard, der eine zuverlässige, schnelle Kommunikation zu Kameras und deren Bilddaten ermöglicht. Hierzu stellt die integrierte Bildverarbeitung einen echtzeitfähigen Treiber für die Ethernet-Schnittstelle bereit, der die Bilddaten direkt im Speicher der Steuerung zur Verfügung stellt. Durch GigE Vision ist TwinCAT Vision zudem ein offenes System, welches es ermöglicht, Kameras aus dem Portfolio einer Vielzahl von Herstellern zu nutzen.
Nach dem Verbindungsaufbau erfolgt gewöhnlich die Kamerakonfiguration. Dazu liefern die Hersteller von Kameras mit GigE Vision-Schnittstelle auch eine Konfigurationsbeschreibung im GenApi-Format. Der Konfigurationsassistent der integrierten Bildverarbeitung liest diese aus und stellt die Parameter dem Anwender übersichtlich zur Verfügung. Konfigurationsänderungen, wie zum Beispiel eine Anpassung der Belichtungszeit und das Setzen einer Region of Interest, sind so schnell und einfach durchzuführen und im Livebild der Kamera zu beobachten.
Neben dem Kamera-Konfigurationsassistenten stellt die Bildverarbeitung einen weiteren Assistenten für die geometrische Kamerakalibrierung bereit. Dieser ermittelt die Parameter zur Beschreibung des Zusammenhangs zwischen Bild- und Weltkoordinaten. Damit ist es möglich, Positionen im Bild in Bezug zu Punkten der realen Welt anzugeben und Längenmaße von Pixeln in das metrische System umzurechnen. Neben perspektivischen Verzerrungen werden dabei nichtlineare Abbildungsfehler des Objektivs berücksichtigt, die sich in Form von Verzeichnungen im Bild beobachten lassen.
Im Rahmen der Kamerakalibrierung werden zunächst ein oder mehrere Aufnahmen eines entsprechenden Kalibriermusters benötigt. Diese Aufnahmen können direkt im Engineering Tool erfolgen oder es können vorhandene Bilder eingelesen werden. Nach Angabe des verwendeten Kalibriermusters werden dann die Parameter automatisch berechnet. Neben den Standard-2D-Mustern, wie dem Schachbrettmuster oder dem symmetrischen und asymmetrischen Kreismuster, können auch eigene Muster eingelesen werden. Dabei darf es sich auch um 3D-Muster handeln. Alternativ zur Nutzung des Kalibrierungsassistenten kann die Kamerakalibrierung auch in der SPS erfolgen.
Bildverarbeitung in der SPS
Die Rohbilder gelangen über GigE Vision von der Kamera direkt in den Speicher der SPS. Hierzu muss die Kamera in den Bilderfassungszustand versetzt und die Bilder, abhängig von der Kamerakonfiguration, gegebenenfalls angetriggert werden. Der Funktionsbaustein FB_VN_GevCameraControl steht dazu zur Verfügung.
Für eine zeitlich präzise Triggerung steht im Beckhoff Automatisierungsbaukasten zudem die zeitstempelbasierte Ausgangsklemme EL2262 bereit, mit der ein mikrosekundengenaues Hardware-Triggersignal an die Kamera gesendet werden kann. Da alles in Echtzeit in einem hochgenauen zeitlichen Zusammenhang stattfindet, können die Bildaufnahme und zum Beispiel die Positionen einer Achse hochgenau synchronisiert werden – für den SPS-Programmierer eine Aufgabe, die oft erledigt werden muss.
Viele Kameras können zudem zu zuvor definierten Ereignissen, wie dem Beginn der Bildaufnahme, Ausgangssignale senden. Diese Signale können mit einer digitalen Eingangsklemme von Beckhoff erfasst und in der SPS für die präzise Synchronisierung weiterer Prozesse verwendet werden.
Für die Verarbeitung der Bilder steht mit TwinCAT Vision eine neue Bildverarbeitungsbibliothek in der SPS zur Verfügung, die zahlreiche Bildverarbeitungsalgorithmen beinhaltet. So können zum Beispiel im Bereich der Vorverarbeitung die Bilder skaliert, in den gewünschten Farbraum konvertiert und durch Filterfunktionen bestimmte Merkmale hervorgehoben beziehungsweise unterdrückt werden. Anschließend kann zum Beispiel eine Binarisierung des Bildes durch eine Schwellwertoperation erfolgen und auf dem Ergebnisbild eine Konturverfolgung durchgeführt werden. Die so gefundenen Konturen lassen sich aufgrund ihrer Merkmale filtern, sodass eine Auswahl interessanter Bildkonturen beziehungsweise Bildregionen entsteht, die sich wiederum zur Objektidentifizierung und Vermessung eignet. Bei einer zuvor kalibrierten Kamera können zudem die Merkmalspunkte zurück in das Weltkoordinatensystem transformiert werden, sodass Positions- und Maßangaben in Echtweltkoordinaten möglich sind. Durch die Integration des Tools in die TwinCAT-Echtzeitumgebung lässt sich das Zeitverhalten der Bildverarbeitungsfunktionen über sogenannte Watchdogs überwachen, die die Funktionen nach einer definierten Zeitspanne oder zu einem bestimmten Zeitpunkt in Bezug auf den Beginn eines Verarbeitungszyklus abbrechen. Dabei werden dem Anwender eventuell vorhandene
Teilergebnisse zur Verfügung gestellt. Weiterhin können geeignete Bildverarbeitungsfunktionen mittels sogenannter Job-Tasks automatisch auf mehrere Kerne parallelisiert werden, sodass TwinCAT Vision die Multicore-Fähigkeit von TwinCAT optimal ausnutzt.
Zur Analyse und Ergebnisvisualisierung können alle Zwischenstände in Form eines Bildes ausgegeben werden. Zuvor ist es möglich, Ergebnisse, wie zum Beispiel Positionsangaben, in die Bilder zu schreiben und in die Bilder zu zeichnen – letzteres zum Beispiel zur gut/schlecht-Kennzeichnung von Teilen. Dem Anwender sind hierbei nur die Grenzen des Bildes gesetzt. Die Anzeige der Bilder kann direkt im Engineering im sogenannten ADS Image Watch erfolgen oder für den Endanwender in der TwinCAT HMI.
Die Bildverarbeitung richtet sich an Anwender, die Vision innerhalb der Steuerung mit erledigen müssen oder wollen. Durch die Integration ist das neue System einfach zu bedienen und zu programmieren. Klassische Aufgaben, wie das Finden und Erkennen von Teilen, sind mit der Lösung einfach nutzbar. Damit steht dem TwinCAT-Anwender nun neben SPS, Motion, Robotik und Messtechnik auch die Bildverarbeitung im TwinCAT-System integriert zur Verfügung. eve
info
Die Vorteile von TwinCAT Vision veranschaulicht eine Broschüre: http://hier.pro/j4oeT
Hannover Messe 2018: Halle 9, Stand F06
