Wir tanzen unseren Song: Interaktive Audiosynthese mit Vision und Graphik WS'24/25
Teamprojekt

Thema

Ihr kennt vielleicht dieses Gerät:

Das ist ein Theremin (auf hochdeutsch auch liebevoll Ätherwellengeige genannt), ein Musikinstrument, mit dem man ohne Berührung Töne erzeugen und manipulieren kann. Das ganze funktioniert durch Elektromagnetische Felder, die durch die Hände gestört werden. Üblicherweise wird mit der einen Hand die Frequenz und mit der anderen die Lautstärke des Tons gesteuert. Denkt an alte 60er Jahre Science-Fiction Filme. Das ist der Sound. Ziemlich spannend, aber für uns Computergraphikbegeisterte viel zu teuer und zu kompliziert. Wir wollen hierfür lieber Machine Learning Modelle benutzen, die in Echtzeit menschliche Posen aus Webcam Videos extrahieren können, damit wir die Posen dann zu Tönen umwandeln können. Easy!

Der klare Vorteil? Kein separates teures Gerät ist nötig, abgesehen von dem, welches jeder Informatiker (oder angehender) eh schon besitzt. Ausserdem können wir mit unserem ganzen Körper die Musik tanzen. Und wer wollte das nicht schon immer mal können?

In diesem Projekt sollt ihr Fähigkeiten im Bereich der Computergraphik / Computer Vision und Audio-Programmierung erlangen und kombinieren. Ihr müsst hierzu die Technologien identifizieren und sammeln, die zur Realisierung nötig sind und dann im Team Arbeitspakete entwickeln und Aufgaben verteilen. Am Ende sollte ein Prototyp stehen, mit dem Musik mit dem ganzen Körper erzeugt werden kann.

Welche Technologien dafür konkret in Frage kommen und was ihr dafür benutzen könnt, werden wir im Kick-Off gemeinsam besprechen.

Anmeldung

Die Anmeldung erfolgt über unsere allgemeine Anmeldeseite.

Tragt euch möglichst bald ein, um euch einen Platz zu sichern.
Die letzte Möglichkeit zur Anmeldung besteht beim Kickoff — sofern dann noch Plätze verfügbar sind!

Termine

Nützliche (aber nicht erforderliche) Kenntnisse

• Programmierkenntnisse in C/C++ (Python, Java oder C# sind auch nützlich)
• Vorlesungen:
  • Praktische Aspekte der Informatik
  • Computergraphik - Grundlagen
  • Software Engineering 1
  • Programmieren I
  • Programmieren II