Markerloses Motion Capture für Avatar Live Performance in VR SS'21
Softwareentwicklungspraktikum

Beschreibung

In der heutigen Zeit sind Telekonferenzen wichtiger als jemals zuvor. Im diesjährigen SEP beschäftigt ihr euch damit einen Multiview-Kameraaufbau mit mehreren GoPros zu entwickeln und damit in Echtzeit einen virtuellen Charakter zu animieren. Die Kameras verteilt ihr im Raum und synchronisiert sie. Anschließend wird aus den Videodaten per OpenPose die 3D Position der Körperteile berechnet und auf einen virtuellen Charakter in Unreal übertagen. Das ganze visualisiert ihr dann zum Schluss live in einem HTC-Vive-Headset in Echtzeit in 3D.

Im ersten Schritt soll ein Multiview Kamera-Setup entwickelt werden, das synchronisierte Aufnahmen von menschlichen Bewegungen macht. Dazu sollen GoPro-Kameras strategisch im Raum verteilt und eine Möglichkeit gefunden werden, diese auszulösen und zu synchronisieren.

Diese Bilddaten werden im nächsten Schritt verwendet um in Echtzeit per Triangulation die Position des Körpers, der Hände, des Kopfes und der Füße zu erkennen. Dazu kann ein Framework wie OpenPose [1] zum Einsatz kommen.

Authors Ginés Hidalgo (left) and Hanbyul Joo (right) in front of the CMU Panoptic Studio	Control Unreal's default mannequin.

Nachdem die 3D Positionen bestimmt wurden, sollen diese nun auf ein geriggtes Körpermodell in der Unreal Engine [2] übertragen und gerendert werden. Diese sollen dann in VR in einem HTC-Vive-Headset gezeigt werden.

Für unser Projekt arbeitet ihr euch in all diese verschiedenen Systeme und Komponenten ein und habt die Möglichkeit eine Menge nützlicher Dinge zu lernen. Ständiges Entwickeln, Testen und Ausprobieren im Team sind elementare Bestandteile.

Wir legen Wert auf eine gute Teamkultur und vor allem Spass am Gerät. Wir alle werden verteilt zusammenarbeiten und ihr könnt euch individuell abstimmen, um ein Forschungs- oder Industrieumfeld zu simulieren.

Termine

Haltet bitte die Termine des ISF für die Abgabe der Dokumente ein.

Literatur / Links

• [1] OpenPose
• [2] Unreal Engine
• [3] OpenGL Tutorials

Nützliche Kenntnisse

• Programmierkenntnisse in C++ und Python
• Software Engineering 1
• Programmieren 1 & 2