Hinweis: Der folgende Artikel hilft Ihnen dabei: In diesem KI-Papier werden ein ereignisbasiertes Fahrzeugerkennungs-Framework und ein Tracking-Datensatz vorgestellt
Neuromorphes ereignisbasiertes Sehen ist ein wachsendes Feld, bei dem Ereigniskameras eingesetzt werden, die Helligkeitsänderungen an jedem Pixel unabhängig erfassen, anstatt die Farbintensität wie herkömmliche bildbasierte Kameras mit einer festen Rate aufzuzeichnen. Diese Ereigniskameras, auch ereignisbasierte Sensoren genannt, wurden erstmals 2008 eingeführt und boten deutliche Vorteile gegenüber bildbasierten Kameras. Ereigniskameras erfassen Helligkeitsänderungen bzw. Ereignisse asynchron und unabhängig an jedem Pixel. Zu jedem Ereignis gehören der Zeitpunkt der Erkennung, seine Pixelkoordinaten und die Art der registrierten Helligkeitsänderung. Dies ermöglicht es Ereigniskameras, Änderungen in einer Szene, die häufig Bewegungen ähneln, zum Zeitpunkt ihres Auftretens zu erfassen und eine hohe zeitliche Auflösung und geringe Latenz zu haben. Im Gegensatz dazu erfassen herkömmliche bildbasierte Kameras Bilder mit einer festen Rate und können in stationären Szenen redundante Daten erzeugen. Diese Eigenschaften machen Eventkameras für verschiedene Anwendungen attraktiv, darunter Bewegungsunschärfe und Objekterkennung.
Ereigniskameras, auch ereignisbasierte Sensoren genannt, erfassen Helligkeitsänderungen in einer Szene asynchron und unabhängig an jedem Pixel. Diese Sensoren verfügen über eine hohe zeitliche Auflösung, geringe Latenz und einen hohen Dynamikbereich, wodurch sie für verschiedene Anwendungen wie Bewegungsunschärfe und Objekterkennung geeignet sind. Eventkameras sind jedoch möglicherweise in Szenen mit begrenzter Bewegung weniger effektiv, wo visuelle Signale erforderlich sind, um diese Modalität zuverlässig nutzen zu können. In solchen Szenarien können ereignisbasierte Implementierungen unzuverlässig sein. Dennoch ist das Potenzial der ereignisbasierten Vision erheblich. In Kombination mit dem rahmenbasierten Sehen kann es optimale Vorteile bieten, da sich beide Modalitäten bei richtiger Anwendung gegenseitig ergänzen können. Dies kann eine robustere Wahrnehmungsleistung für automatisierte Systeme ermöglichen. In aktuellen Arbeiten wurden Ereigniskameras in verschiedenen Anwendungen eingesetzt, darunter die HDR-Videosynthese mit hoher Bildrate und die Bildrekonstruktion von Ereignissen.
In dieser Arbeit untersuchen die Autoren einen hybriden Ansatz, der rahmenbasierte und ereignisbasierte Daten für Objekterkennungs- und -verfolgungsaufgaben kombiniert. Bei der Objekterkennung geht es darum, das Vorhandensein und den Standort von Objekten in einem Bild zu identifizieren, während bei der Objektverfolgung die Bewegung von Objekten im Laufe der Zeit verfolgt wird. Beide Aufgaben sind für automatisierte Systeme wichtig, um ihre Umgebung zu verstehen und zu interpretieren, und sie haben verschiedene Anwendungen in der Robotik, beispielsweise zur Verkehrsüberwachung, Überwachung und autonomen Fahrzeugen. Die Leistung der Objekterkennung kann je nach verwendeter Methode variieren, und bei einigen Ansätzen kann es zu Kompromissen zwischen Genauigkeit und Latenz kommen. Die Autoren schlagen vor, ereignisbasierte Daten zu verwenden, um die Leistung eines auf einem tiefen neuronalen Netzwerk basierenden Objektdetektors in bestimmten Szenarien zu verbessern. Ziel der Autoren ist es, die Gesamtleistung der Objektverfolgung zu verbessern, indem sie die Stärken von bildbasierten und ereignisbasierten Daten kombinieren.
In diesem Artikel wird ein hybrider Ansatz zur Objekterkennung und -verfolgung unter Verwendung sowohl bild- als auch ereignisbasierter Daten vorgestellt. Ziel ist es, die Gesamtleistung der Objektverfolgung zu verbessern, indem die Stärken beider Modalitäten genutzt werden. Die feste Bildrate der Eingabequelle kann herkömmliche Objekterkennungs- und -verfolgungsmethoden mithilfe bildbasierter Daten einschränken. Sie benötigen möglicherweise anspruchsvolle Hardware, um Echtzeitleistung zu erzielen. Die Autoren schlagen drei Methoden zur Verbesserung der Objekterkennung und -verfolgung mithilfe ereignisbasierter Techniken vor:
- Sie verbessern die Präzision von Begrenzungsrahmen, die von rahmenbasierten Objektdetektoren dargestellt werden, indem sie eine Kombination aus Ereignisdaten und klassischen Computer-Vision-Methoden verwenden.
- Sie verbessern die Robustheit und Konsistenz rahmenbasierter Objektdetektoren mithilfe ereignisbasierter Erkennungsmethoden. Diese Methode wird initiiert, wenn der rahmenbasierte Objektdetektor ein Objekt in einem bestimmten Rahmen nicht erkennt, wodurch die Objekterkennungszuverlässigkeit und die entsprechende Verfolgungsleistung mithilfe von Ereignisdaten mit hoher zeitlicher Auflösung verbessert werden.
- Sie bewerten die Auswirkungen dieser Methoden numerisch anhand eines vollständig gekennzeichneten Datensatzes und modernster Multi-Objekt-Tracking-Metriken.
Sie vergleichen auch den Rechenaufwand der ereignisbasierten Methoden mit den rahmenbasierten Komponenten.
Die Autoren schlagen drei Methoden zur Verbesserung der Objekterkennung und -verfolgung mithilfe ereignisbasierter Daten vor. Zunächst stellen sie eine ereignisbasierte Methode zur Verfeinerung des Begrenzungsrahmens für statische Szenen und eine ereignisbasierte Methode zur Wiederherstellung versteckter Objekte in der Frame-Domäne vor. Zweitens bieten sie eine Ablationsstudie an, um die Vorteile jeder eingeführten ereignisbasierten Methode und ihre optimale Kombination mithilfe der HOTA-Metrik quantitativ zu überprüfen. Drittens bieten sie eine rechnerische Latenzanalyse für die eingeführten Methoden und die Kernkomponenten des vorgeschlagenen Systems. Abschließend führen sie ein reales Validierungsexperiment mit einem Hochgeschwindigkeits-LiDAR durch, um zu bewerten, wie gut das vorgestellte Framework, einschließlich der zusätzlichen ereignisbasierten Methoden, die Fahrzeugposition bei unterschiedlichen zeitlichen Auflösungen und Verfolgungsraten schätzt. Die Hauptbeiträge dieses Papiers sind die Verbesserung der Objekterkennungs- und -verfolgungsleistung mithilfe ereignisbasierter Daten, eine quantitative Analyse der Vorteile der ereignisbasierten Methoden und eine rechnerische Latenzanalyse.
