JKU LIT beim Ars Electronica Festival: Music Tower Blocks

Eine Stadt aus Musik ganz nach dem eigenen Geschmack. Das LIT Projekt Music Tower Blocks (EmoMTB) macht große Musiksammlungen audiovisuell erkundbar. Mit Musik wird eine "Stadt" gebaut - die Gebäude bestehen aus ähnlicher Musik, die Bezirke setzen sich aus ähnlichen Musikstilen zusammen. Wir haben mit Prof. Markus Schedl, JKU Institut für Computational Perception und Leiter des Projekts, über EmoMTB gesprochen.

JKU Prof. Markus Schedl im Interview
Prof. Markus Schedl nutzt Künstliche Intelligenz um Musik als audiovisuelle Stadt darzustellen.

Beschreiben Sie bitte kurz Ihr Projekt!
Markus Schedl: EmoMTB ist ein Interface zur Musikerkundung, das eine Sammlung bestehend aus einer halben Million Musikstücken als Stadt auf einem großen Bildschirm darstellt. Der Besucher oder die Besucherin kann die Stadt erkunden und über seinen oder ihren eigenen Spotify Account die Musik wiedergeben. Das Smartphone wird dabei als Navigator - ähnlich einem Gamepad - verwendet. Gleichzeitig analysiert eine KI den emotionalen Zustand der Besucher*innen und erstellt dazu passende Musikempfehlungen, die in die Visualisierung integriert werden. Das ermöglicht es, Musik zu finden, die zur aktuellen Stimmungslage passt.

Woher kamen die Idee bzw. der Anreiz?
Markus Schedl: Wir arbeiten schon viele Jahre an intelligenten Nutzerschnittstellen zur Musikvisualisierung bzw. zur Erkundung von Musiksammlungen. Die ursprüngliche Idee, Musikstücke automatisch mittels Methoden des maschinellen Lernens zu gruppieren und visuell ansprechend darzustellen begann mit den „Islands of Music“ und unserer Adaption „nepTune, öffnet eine externe URL in einem neuen Fenster“. Hierbei wurde ursprünglich die Metapher einer Insellandschaft gewählt, also ähnliche Musik jeweils auf einer Insel gruppiert. In EmoMTB wichen Inseln Gebäuden und Musikstücke werden nun übereinandergestapelt, formen also die einzelnen Stockwerke der Gebäude. Auch ist EmoMTB - im Vergleich zu früheren, ähnlichen Interfaces - in der Lage, sehr große Musiksammlungen zu verarbeiten. Und natürlich stellt auch die Einbeziehung der Stimmungslage etwas Neuartiges dar.

Welchen Background haben die Projektteilnehmer*innen?
Markus Schedl: Das EmoMTB-Team hat einen sehr multidisziplinären Hintergrund. Unser Team vereinigt Expertise in KI, Medienkunst, Game Design und Musikwissenschaft. Wir haben auch Experten und Expertinnen auf den Gebieten maschinelles Lernen und Affective Computing, sowie natürlich klassische Informatiker*innen und Softwareentwickler*innen mit an Bord.

Was bedeutet „A New Digital Deal“ für Ihr Projekt bzw. was wünschen Sie sich für den „New Digital Deal“?
Markus Schedl: Die heutzutage zum Einsatz kommenden KI Technologien, die beispielsweise Web-Suchmaschinen oder Empfehlungssystemen zugrunde liegen, sind auf unterschiedlichste Arten „gebiased“. Einerseits werden moderne Deep Learning Modelle meist auf verzerrten Daten trainiert, andererseits verstärken die Algorithmen selbst oftmals bereits bestehende Verzerrungen. Solche Verzerrungen führen häufig zu einer Ungleichbehandlung ganzer Nutzergruppen, z.B. hinsichtlich Geschlecht oder Alter.
Ich wünsche mir für den „New Digital Deal“ ein Commitment der Anbieter solcher Systeme, die wir alle täglich einsetzen, Verzerrungen die zu Ungleichbehandlung führen klar zu kommunizieren und in Folge durch neue technische Möglichkeiten zu minimieren. Wir forschen aktiv an solchen fairen Technologien und hoffen, dass diese auch bald weitreichend eingesetzt werden.

Auf was dürfen sich Besucher*innen am meisten freuen, wenn sie zu Ihrem Projekt kommen?
Markus Schedl: Auf die coole Art, ihre Musiksammlung zu erkunden und vielleicht auch völlig neue Musik, abseits des üblichen eigenen Musikgeschmacks, zu finden.

Was war die größte Herausforderung bei der Umsetzung des Projekts?
Markus Schedl: Die größte Herausforderung war eindeutig die Diskrepanz zwischen dem, was wir alles realisieren wollten und dem, was tatsächlich mit den zur Verfügung stehenden Ressourcen und Technologien machbar war zu meistern.

Erfahren Sie hier mehr über die JKU Projekte beim Ars Electronica Festival 2021