Mit einem AI-Chip des israelischen Start-ups Hailo stellt der Embedded- und IoT-Hersteller Kontron eine Rechenpower an der Edge zur Verfügung, die so bisher nur in der Cloud möglich war. Damit können Unternehmen jetzt auch sehr anspruchsvolle AI-Algorithmen in der Praxis nutzen. Die Hailo-Entwicklungsumgebung ermöglicht eine besonders kurze Time-to-Market und die perfekte Abstimmung zwischen AI-Software und -Hardware.
Christoph Neumann ist VP Technology der Kontron-Gruppe in Augsburg
Inhaltsverzeichnis
1. Selbstlernende Algorithmen haben Hochkonjunktur
2. Neue Performance-Höhen erklimmen
3. Schnelle Entwicklung, ausgerichtet auf den Anwendungsfall
4. Perfekt an das jeweilige neuronale Netz anpassbar
5. Vision-Applikationen am Edge
6. Praxishürden überwinden
7. AI hat Zukunft
Anwendungen rund um Künstliche Intelligenz (Artificial Intelligence; AI) werden sich in den kommenden Jahren weiter durchsetzen. Dazu führt auch der deutlich stärkere Fokus auf Nachhaltigkeit, der sich durch eine härtere Gangart in der Klimapolitik ergibt. AI trägt nicht nur zur Automatisierung bei, sondern auch zu besserer Planung, Wartung und Vorhersage. Die Technologie vermindert Ressourcenverschwendung oder Ausschuss und unterstützt neue Mobilitätskonzepte.
Selbstlernende Algorithmen haben Hochkonjunktur
Inferenz ist dabei ein wichtiges Stichwort: Es steht dafür, mit Hilfe trainierter neuronaler Netze aus Informationen zu lernen und neue Schlüsse abzuleiten. Allerdings benötigen Inferenz-Anwendungen rund um Artificial Intelligence in aller Regel eine erhebliche Rechenleistung. Das gilt vor allem in Echtzeitszenarien wie zum Beispiel bei autonomen Fahrzeugen oder wenn es, wie in der Robotik, um das Thema Arbeitsschutz geht. Diese Voraussetzungen lassen sich mit klassischen Standard-Prozessoren nicht effektiv erreichen, denn sie verbrauchen zu viel Strom oder erreichen nicht die benötigte Geschwindigkeit. Im Grunde wird am Edge, also im Device selbst, eine Rechenpower benötig, die bisher vor allem durch High Performance Computing im Rechenzentrum geliefert werden konnte, mit entsprechenden Nachteilen bezüglich der Latenz und Zuverlässigkeit der Cloud-Verbindung. Als Embedded-Systems-Spezialist fokussiert sich Kontron daher jetzt auf neue Ansätze, um die nötige Performance auch am Edge zu ermöglichen. Mit der Integration des Hailo-8-Chips setzt Kontron auf eine Technologie, die den Anforderungen im AI-Umfeld mit einer spezifisch für das Rechnen von neuronalen Netzen entwickelten Chip-Architektur begegnet.
Neue Performance-Höhen erklimmen
Gemeinsam mit dem israelischen AI-Chip-Hersteller Hailo werden im Rahmen einer strategischen Technologiepartnerschaft AI-Edge-Inferenzlösungen der nächsten Generation entwickelt und auf den Markt gebracht. Grundlage dafür ist der Best-in-Class-Hailo-8-AI-Co-Prozessor mit einer Leistung von 26 Tera-Operationen pro Sekunde (TOPS) bei einer Effizienz von circa 3 TOPS/W. In einer typischen Applikation ergibt sich in der Regel eine Verlustleistung von nur 2,5 bis 5 W, je nach Setup und Rechenmodell. So können Edge-Geräte eine Performance erreichen, die bisher nur in der Cloud möglich war.
Der Einsatz vor Ort, oft unter den restriktiven Bedingungen in Fertigung und Produktion oder im öffentlichen Raum, bringt hohe Anforderungen an die AI-Devices mit sich. Sie müssen nicht nur mit den teilweise rauen Umgebungen, sondern auch mit einem breiten Temperaturspektrum umgehen können. Zugleich sollte die Hardware im Praxiseinsatz besonders klein und stromsparend konzipiert sein, um sich auf engem Raum in Geräte oder in Produktionsanlagen einzufügen: Etwa für Assistenzsysteme in einem autonomen Fahrzeug, in einem Roboterkopf oder einem kleinen Kameragehäuse sind spezifische, kleine Formfaktoren erforderlich.
Schnelle Entwicklung, ausgerichtet auf den Anwendungsfall
Je genauer sich AI-Algorithmen und Hardware aufeinander abstimmen lassen, desto besser die Performance und desto niedriger der Stromverbrauch. Das israelische Startup Hailo stellt in seiner Developer Zone viele vortrainierte neuronale Netze (Model Zoo) zur Verfügung, auf deren Basis Unternehmen sehr viel schneller neue AI-Anwendungen entwickeln und deren Time-to-Market deutlich verkürzen können. Grundlage ist Hailos High-Performance Application Toolkit TAPPAS (Template APPlications And Solutions). Es gibt bereits eine Reihe von Lösungen mit diesem Ansatz am Markt. Um die Rechenpower zu steigern, kommen dort meist Accelerator-Devices für die Beschleunigung zum Tragen, oft maßgeschneidert für bestimmte AI-Anwendungsszenarien. Allerdings unterscheidet sich die Hailo-Technologie darin, dass der Prozessor Domain-spezifisch gezielt für bestimmte Anwendungen optimierbar und in höherem Maß programmierbar ist. Dabei lassen sich nicht nur wie üblich die Parameter der trainierten Netzwerke in den Chip programmieren, sondern es besteht die Möglichkeit, die Hardware gezielt auf bestimmte gewünschte Eigenschaften zu optimieren.
Kontron bietet Arm System-Ready IR zertifizierte Edge-Computing-Plattformen
Mit einem bitgenauen Simulator und dem Performance-Tool Hailo Dataflow Compiler kann von den Entwicklern individuell festlegt werden, welche Leistungsaspekte ihnen für einen spezifischen Use Case besonders wichtig sind. Aspekte, die sich austarieren lassen, sind beispielsweise Stromverbrauch, Latenz oder Geschwindigkeit. Das Trade-off erfolgt dann analog zum jeweils wichtigsten Anwendungsziel.
Perfekt an das jeweilige neuronale Netz anpassbar
Neuronale Netzwerke sind Strukturen mit vielen Layern, in denen Neuronen auf unterschiedliche Arten miteinander verknüpft sind. Je nachdem, welcher Output angestrebt wird, kommen unterschiedliche Netzarchitekturen zum Einsatz. Beispiele dafür sind MobileNet, ResNet, SqueezeNet oder Tiny-YOLO. In den letzten Jahren kamen neue Architekturen hinzu, die sich vor allem für den Einsatz auf mobilen und Egde-Geräten eignen. Der Hailo-Chip ist besonders gut auf das jeweils zu rechnende Netzwerk zu optimieren, da die Kernels optimal auf das jeweilige Netzwerk anpassbar sind. Durch den bitgenauen Simulator des Chips kann die Applikation außerhalb der Zielhardware zum Beispiel auf einem PC optimiert werden. So lassen sich neue Levels von Geschwindigkeit, Latenz und Leistungseffizienz erzielen.
Dafür wurde die Chip-Architektur neu gedacht. So ist beispielsweise kein externer Memory-Speicher nötig, sondern bereits im Chip integriert und sehr eng an die konfigurierbaren Rechenkernels angebunden. Der Prozessor wird am PCIe-Bus der Host-CPU der Kontron-Edge-Computer betrieben. Mit der Lösung lassen sich selbst die strengen Sicherheitsvorgaben in der Automotive- und Industrial-Compliance einhalten. Nicht von ungefähr haben in der jüngeren Vergangenheit viele Automobilhersteller auf Kooperationen mit oder Übernahmen von israelischen Startups gesetzt, die beim Thema Artificial Intelligence international die Nase vorn haben.
Vision-Applikationen am Edge
In der Industrie sind aktuell Anwendungen rund um das Thema Computer Vision das wohl häufigste Einsatzszenario, insbesondere in der Objekterkennung, im Qualitätsmanagement oder der vorausschauenden Wartung. Entscheidend ist dabei oft die Latenzzeit und Auflösung, die im Prozess benötigt wird, um auszurechnen, was auf einem Bild zu sehen ist. Je nachdem, wie schnell in einem Produktionsprozess Objekte wie Bauteile, Materialien oder Produkte dem Kamerasystem zum Beispiel auf einem Fließband präsentiert werden, oder wo Objekte in großer Entfernung schnell und exakt erkannt werden müssen, steigen die Erwartungen an die Performance. Der Hailo-Chip ist mit Latenzen im Millisekundenbereich auch für die anspruchsvolle, schnelle Bilderkennung mit extrem hoher Auflösung ausgelegt. So kann die zur Verfügung stehende hohe Rechenleistung auch dazu verwendet werden, hochauflösende Bilder durch Tiling in mehrere parallel gerechnete Video-Datenströme umzuwandeln, um kleinste Objekte korrekt zu erfassen. Viele kamerabasierte Bilderfassungssysteme hingegen arbeiten mit limitierter Auflösung oder liefern die Ergebnisse mit vergleichsweise hoher zeitlicher Verzögerung, und sind somit für die oben genannten Einsätze nicht optimal einsetzbar.
Dank seiner hohen Geschwindigkeit eignet sich der AI-Chip von Hailo auch für Szenarien, in denen schnell etwas gezählt oder sortiert werden soll; aber auch zum Beispiel für autonome Transportsysteme, die ihre Umgebung erkennen können sowie in Cobots, die direkt mit Menschen zusammenarbeiten. Die Architektur mit der anpassbaren Struktur, die kurzen Latenzen und die hohe Performance machen den Hailo-Chip um eine Größenordnung schneller als bisherige marktübliche Beschleuniger.
Praxishürden überwinden
Kontrons Ziel ist es, die Technologie gemeinsam mit dem Kunden und einem AI-Core-Support in die Praxis zu bringen. Größter Hemmschuh bei den potenziellen Anwendern ist bisher insbesondere im Mittelstand der Fachkräfteengpass im Bereich Data Science. Damit die Potenziale der Künstlichen Intelligenz nicht weiter brachliegen, hat sich Kontron vom klassischen Hardware-Anbieter weiterentwickelt und setzt mit seinen Professional Services darauf, eigene AI-Expertise in den Projekten anzubieten. Geplant ist zudem eine enge Zusammenarbeit mit Hailo auch auf Board-Level: Künftig sollen die AI-Chips auf unterschiedliche Boards integriert werden, konkrete Pläne sind hier bereits in Diskussion. Zudem wird es möglich sein, mehrere der AI-Chips für besonders rechenintensive, unterschiedliche Anwendungszwecke zu kombinieren – je nach individueller Anforderung.
Embedded Computer von Kontron bietet höhere Rechen- und Grafikleistung
Letztlich sind praktisch alle Unternehmen und Organisationen gefragt, den Nutzen von AI-Technologie für ihre Prozesse und Produkte zu evaluieren und erproben. Die Anwendungsfälle werden in den nächsten Jahren nicht ausgehen und die Early Birds können sich teilweise deutliche Vorsprünge vor ihren Wettbewerbern erarbeiten.
AI hat Zukunft
Zählalgorithmen sind beispielweise in der Logistik beim Erfassen von Paketen oder Paletten im Lager gefragt, kombiniert mit einer AI-Texterkennung von Labels, die traditionelle OCR (Optical Character Recognition) weit übersteigt. AI kann mittels Bildverarbeitung dazu beitragen, dass unbefugte Menschen nicht versehentlich in Gefahrgutzonen im Lager oder gefährliche Bereiche in einer Fabrik laufen und so besser geschützt werden – Stichwort Worker Safety. Auch Geräuscherkennung ist möglich, um etwa Störgeräusche oder Unwuchten in Maschinen und Anlagen frühzeitig zu detektieren und Ausfälle zu vermeiden.
Oft kann AI bestehende Verfahren ersetzen und die Fehleranfälligkeit von manuellen Prozessen minimieren. So lassen sich erfahrungsgemäß Vision-Systeme für die Defect Detection vergleichsweise leicht auf die Beine stellen und auch auf weitere Produkte und Features ausdehnen. Um AI in die Breite zu bringen, ist es jedoch wichtig, auf eine durchgängige und skalierbare Plattform zu setzen. Mit den aktuellen AI-Projekten steht Kontron erst am Anfang der Einsatzgebiete; aus Firmensicht bieten sich künftig noch ungeahnte Möglichkeiten, um die Nachhaltigkeit und Effizienz von Prozessen zu erhöhen oder im medizinischen Umfeld z.B. durch schnellere Analysen von Krankheitsbildern/Symptomen das Gesundheitswesen zu verbessern und Menschenleben zu retten.
