Schnelleres und effektiveres Szenenverständnis

Menschen, Fahrräder, Autos oder Straße, Himmel, Gras: Welche Pixel eines Bildes gehören zu Personen oder Objekten, die sich im Vordergrund der Umgebung eines selbstfahrenden Autos befinden, und welche Pixel repräsentieren die städtische Kulisse? Diese Aufgabe, die als panoptische Segmentierung bezeichnet wird, ist ein grundlegendes Problem zahlreicher Bereiche wie selbstfahrende Autos, Robotik, Augmented Reality und sogar in der biomedizinischen Bildanalyse. Dr. Abhinav Valada, Inhaber der Juniorprofessur für Robot Learning am Institut für Informatik der Universität Freiburg und Mitglied von BrainLinks-BrainTools, geht dieser Forschungsfrage nach. Nun hat er mit seinem Team das neuartige Modell „EfficientPS" entwickelt, das mittels Künstlicher Intelligenz (KI) visuelle Szenen schneller und effektiver erkennt.

Die Aufgabe zum Szenenverständnis wird zumeist mit einer Technik des maschinellen Lernens gelöst, dem so genannten Deep Learning (DL). Bei diesem lernen künstliche neuronale Netze, die vom menschlichen Gehirn inspiriert sind, aus großen Datenmengen, erklärt der Freiburger Forscher. Öffentliche Benchmarks spielen eine wichtige Rolle bei der Messung des Fortschritts dieser Techniken. „Seit vielen Jahren konkurrieren Forschungsteams von Konzernen wie Google oder Uber um den Spitzenplatz bei diesen Benchmarks“, sagt Rohit Mohan aus Valadas Team. Die neue Methode der Freiburger Informatikerinnen und Informatiker erreichte nun jedoch den ersten Platz in Cityscapes, dem vermutlich einflussreichsten öffentlichen Benchmark für Methoden zum Szenen-Verständnis im autonomen Fahren. Auch bei anderen Benchmark-Datensätzen wie KITTI, Mapillary Vistas und IDD ist EfficientPS gelistet.

Auf der Website des Projekts zeigt Valada Beispiele dafür, wie das Team verschiedene KI-Modelle auf verschiedenen Datensätzen trainiert hat. Die Ergebnisse werden dem jeweiligen mit der Kamera aufgenommenen Bild überlagert, wobei die Farben zeigen, welcher Objektklasse das Modell das jeweilige Pixel zuordnet. So sind zum Beispiel Autos blau, Menschen rot, Bäume grün und Gebäude grau markiert. Darüber hinaus zeichnet das KI-Modell auch einen Rahmen um jedes Objekt, das es als separate Einheit betrachtet. Den Freiburger Forschenden ist es gelungen, das Modell so zu trainieren, dass es die gelernten Informationen städtischer Szenen von Stuttgart nach New York City überträgt. Obwohl das KI-Modell nicht wusste, wie eine Stadt in den USA aussehen könnte, war es in der Lage, Szenen aus New York City genau zu erkennen.

Die meisten bisherigen Methoden, die sich diesem Problem widmen, benötigen große Datenmengen und sind für den Einsatz in realen Anwendungen wie der Robotik, die stark ressourcenbeschränkt sind, zu rechenintensiv, erklärt Valada: „Unser EfficientPS erreicht nicht nur eine hohe Ausgabequalität, es ist auch die rechnerisch effizienteste und schnellste Methode. Damit werden die Anwendungsbereiche, in denen EfficientPS eingesetzt werden kann, deutlich erweitert.“

Website mit Live-Demonstrationen unterschiedlicher KI-Modelle

Beispielvideo: Fahrt durch New York City

Plattform „Cityscapes“