Sektionen
 

3-D-Personentracking mit einem Multi-Kamera-Setup

Organisatorisches

  • Art der Arbeit: Studienarbeit
  • Status: abgeschlossen
  • Interne Betreuer:
    • Peter Decker
  • Externe Betreuer:
    • Tobias Feldmann
  • Student:
    • Ioannis Mihailidis
  • Beginn: 01.04.2008
  • Ende: 01.10.2008

Beschreibung

Ziel:
Vor einem homogenen Hintergrund soll mit mehreren Kameras (max. 8) die Pose von Kopf, Armen und Brust einer Person erkannt und verfolgt werden. Die Initialisierung geschieht mit einer Startpose, z.B. einer festgelegten Haltung mit ausgestreckten Armen, oder wird manuell durchgeführt.
Das Verfahren soll in einer Offline-Phase auf zuvor aufgenommen Kamerabildströmen angewendet werdet und muss nicht echtzeitfähig sein. Die Implementation soll vor allem bestehende Bibliotheken verwenden, erst wenn nötig um neue Algorithmen erweitert und unter der GNU Public Lizence (GPL) veröffentlicht werden.

Methode:
Bildströme aus mehreren kalibrierten Kameras mit hohen Frameraten (>50Hz) werden aufgenommen und gespeichert. Zunächst sollen die Silhouetten der Person in allen Bildern extrahiert werden (I). Im nächsten Schritt folgt eine 3-D-Voxel-Rekonstruktion (II) in die ein einfaches 3-D-Modell bestmöglich eingepasst wird (III).

Zu I: Die aufgenommene Person befindet sich in einer gleichmäßig beleuchteten Bluebox. Der von uns benutze Aufbau macht es einfach, den Hintergrund von der Person im Vordergrund zu trennen. Alternativ wird das Verfahren von [Latsch2008PUA] verwendet, welche auf Basis von [Thome2006HBP] Silhouetten selbst bei Verschattung gut findet.

Zu II: Die 3-D-Voxel-Rekonstruktion könnte beispielsweise nach [Szeliski1993ROC] durchgeführt werden. In diesem Ansatz wird für jeden Voxel überprüft, ob es nach einer Projektion der konvexen Hülle auf allen Bildebenen in der Silhouette liegt. Dieses rechenintensive Verfahren kann auch durch den SPOT Algorithmus [Cheung2000ART] beschleunigt werden: Gleichmäßig verteilte Punkte im projizierten Voxel werden auf einen Überdeckung mit der Silhouette überprüft.

Zu III: Ein möglicher Ansatz wäre, ausgehend vom Kopf, der z.B. durch OpenCV gefunden werden könnte, ein Modell bestmöglich in die 3-D-Voxel-Rekonstruktion einzupassen. In [Mikic2001ABP] wird ein Erweiterter Kalman-Filter zur Verfolgung verwendet. Hier kann auch ein multimodaler Ansatz, wie z.B. [Isard1998CCD], verwendet werden, der evtl. weniger Probleme mit schnellen Richtungswechseln haben könnte. Das System soll sowohl unter MS Windows als auch unter GNU/Linux laufen und unter GPL veröffentlicht werden.

In der Ausarbeitung findet sich eine genaue Beschreibung aller Teilbereiche und eine ausführliche Evaluation der Implementation.