Projekbeschreibung

SiRet4: Biologically Inspired Silicon Retina

Ereignisbasierte Bildverarbeitung und hier speziell Stereo-Vision, ist Gegenstand einer Forschungskooperation zwischen dem Austrian Institute of Technologie (AIT), dem Software Competence Center Hagenberg (SCCH) und den Studiengängen HSD und ESD. Im Unterschied zu herkömmlichen bildgebenden Sensoren liefert ein ereignisbasierter Sensor, eine Silicon-Retina, nur dann Daten, wenn die Intensität des Lichts in einem Pixel einen gewissen Schwellwert über- bzw. unterschreitet, d.h. es werden keine Bilder geliefert sondern lediglich Intensitätsänderungen (Events) zur Verfügung gestellt, wodurch die gelieferte Datenmenge variabel und in der Regel deutlich kleiner als bei normalen bildgebenden Sensoren ist.

Daher werden diese Sensoren bei sehr zeitkritischen Anwendungen eingesetzt. Die Retinae die uns zur Verfügung stehen, haben eine Auflösung von 128x128 Pixeln und liefern eine durchschnittliche Datenmenge von 30 Mbit/s. Anhand dieser Event-Daten muss das Bild rekonstruiert und entsprechende Algorithmen realisiert werden. Im Fall eines Stereo-Vision-Systems wird eine Szene mit zwei Kameras von zwei unterschiedlichen Blickwinkeln aus aufgenommen. Dies ermöglicht die Berechnung räumlicher Information, wie z.B. Tiefenkarten bzw. die Entfernung von Objekten, aus den Bilddaten.

Im Projekt sollen aufbauend auf vorangegangene Studienprojekte ein bereits vorhandenes Prototyping-Framework erweitert

und – basierend auf ein bestehendes Stereo-Vision-System – Verfahren und Algorithmen der Bildverarbeitung an realistischen Messwerten untersucht und deren Echtzeitfähigkeit bewertet werden. Dazu ist zunächst eine Messkampagne mit dem bestehenden System zu planen und durchzuführen. Anhand dieser Messdaten sollen neue Algorithmen evaluiert und in das Prototyping Framework integriert werden um sie einerseits zu analysieren und zu vergleichen und andererseits ihre Echtzeitfähigkeit zu untersuchen. Für die Verifikation der berechneten Tiefenkarten muss die aufgenommene Szene entsprechend vermessen werden. Dazu soll ein Kinect Sensor in das Framework integriert werden, der diese Groundtruth-Daten generiert. Für die Verifikation müssen diese Daten mit den Event-Daten der Retinae abgeglichen werden.Ein weiterer wichtiger Punkt ist die Berücksichtigung der Linsenverzerrung und Kamerageometrie. Aus diesem Grund müssen die Bilddaten vor der eigentlichen Verarbeitung rektifiziert werden. Dies ist ein heikler Schritt der zum einen möglichst genau und zum anderen sehr schnell sein muss. Daher sollen in einem ersten Schritt Verfahren zur Rektifizierung implementiert und ihre Genauigkeit und Effizienz hinsichtlich einer Implementierung in digitaler Hardware untersucht werden.

Aufgaben

  • Direkte Verarbeitung von Live-Daten der Silicon-Retinae durch MATLAB-Tool
  • Implementierung und Verifikation eines Algorithmus zur Rektifizierung
  • Erfassung von Groundtruth-Daten mit einem Kinect-Sensor
  • Messkampagne mit bestehenden Stereo-Vision-System
  • Analyse und Implementierung von Methoden und Algorithmen der Strukturerkennung, wie z.B.:
    • Diskrepanznorm,
    • Riesz-Transformation,
    • Wavelets, Curvelets, etc.
    • stat. Modelle für Rauschen.
  • Implementierung geeigneter Algorithmen in digitaler Hardware