Biologically Inspired Silicon Retina

SiRet4 ist ein Forschungsprojekt des Studiengangs HSD10 in Kooperation mit dem Austrian Institute of Technologie (AIT), dem Software Competence Center Hagenberg (SCCH) und den Studiengängen HSD und ESD, sowie den Vorgängerprojekten SiRet und SiRet2 (siehe Partner).

Im Zuge dieses Projektes wird eine Messkampagne mit dem bestehende Stereo Vision System (SVS) von zwei Silicon Retinae gestartet. Die Aufnahme der Streams mit den Kameras und der Kinect, sowie die Umsetzung in 3D-Tiefenkarten wurden während der Projektzeit realisiert. Es soll nun aufgezeigt werden, ob die Aufnahmen der Silicon Retinae mit denen einer Kinect von Microsoft vergleichbar sind. Dazu werden die Siret-Kameras und die Kinect möglichst gleich ausgerichtet und ein Video aufgezeichnet. Als Ergebnis beider Aufnahmen ehält man je eine 3D-Tiefenkarte über die Zeit. Die beiden Tiefenkarten werden anschließend übereinander gelegt und die Vergleichbarkeit verifiziert.

Cloud Viewer

Projektstatus:

  • Silicon Retnia Streams können als ein Binärstream pro Kamera gleichzeitig über UDP aufgenommen werden (siehe Tool: Retina Camera)
  • Die Binärstreams werden als Vorbereitung für Rektifizierung aufbereitet (siehe Tool: Matlab GUI)
  • Tiefenkartenerstellung mit optischer Visualisierung über eine Java-GUI.
  • Mit der MS Kinect können Tiefenkarten direkt aufgenommen werden (siehe Tool: KinectAppCmd)
  • Eine oder mehrerer Tiefenkarten können visualisiert werden (siehe Tool: CloudViewer)

 

Zum Vergleich der beiden Tiefenkarten Streams sind folgende Punkte zu beachten:

  • Die Tiefenkarten haben unterschiedliche Auflösung in X und Y, der Tiefe Z, sowie der Zeit
    • Auflösung der verwendeten Silicon Retina: 128x128, 1Mega fps, der Tiefenwert muss umgerechnet werden
    • Verwendete Auflösungen der Kinect: 80x60, bis zu 30 fps, Tiefenwerte in mm von 800 bis 4000
  • Startzeitpunkt der Aufnahme wird bei beiden Kameras durch Initialisierung verzögert. Bei der Kinect kann das bis zu einer halben Sekunde dauern, die Sirets dagegen sind sehr schnell und beginnen früher mit der Aufnahme.

 

Für eine genaue Verifizierung muss eine gemeinsame Auflösung in X, Y, Z und der Zeit gefunden und die beiden Streams synchronisiert werden. Dieses Projekt beschränkt sich auf die Aufnahme der Streams, ihre Übersetzung in Tiefenkarten und deren Visualisierung.