Go to JKU Homepage
Institute of Computational Perception
What's that?

Institutes, schools, other departments, and programs create their own web content and menus.

To help you better navigate the site, see here where you are at the moment.

Detail

Second ERC Advanced Grant for Gerhard Widmer

On April 22, 2021, the ERC has announced that Gerhard Widmer is among the winners of the ERC Advanced Grant of the AdG-2020 Call. He will receive 2.5 million for research on AI and music in the context of his project "Whither Music?".
(Following article / press release in German)

Zweiter ERC Advanced Grant für JKU Wittgensteinpreisträger Gerhard Widmer: 2,5 Mio. Euro für Forschung zu AI und Musik, opens an external URL in a new window

JKU Professor und Wittgensteinpreisträger Gerhard Widmer erhält vom Europäischen Forschungsrat (European Research Council, ERC) weitere 2,5 Millionen Euro.

 

Die Förderung ist für seine bahnbrechenden Forschungen im Schnittbereich zwischen Künstlicher Intelligenz (Artificial Intelligence, AI) und Musik. Im Projekt "Whither Music?" ("whither" ist ein altes englisches Wort für "wohin") soll er neue Methoden der Modellierung musikalischer Fähigkeiten mittels Computer und maschineller Lernmethoden erforschen.

Musik gesamtheitlich betrachtet
Konkret sollen Computermodelle der Musikerzeugung ("Komposition"), der Musikinterpretation sowie des musikalischen "Hörens" (genauer: Erwartungshaltungen und Vorhersagen, die Hörer*innen beim Musikhören unwillkürlich bilden) erforscht werden. Diese Computer-Modelle sollen alle diese Fertigkeiten auf einem Qualitätsniveau nachbilden, mit dem seriöse Anwendungen im Bereich der Musikforschung und der Musikdidaktik möglich werden. Der Langtitel des Projekts –"Exploring Musical Possibilities via Machine Simulation" –gibt die Anwendungsrichtung vor: Mithilfe solcher Computermodelle soll es möglich werden, bestimmte musikalisch oder musikpsychologisch interessante Fragen systematisch zu studieren, aber auch Tools für die kreative Musikentwicklung zu entwickeln.

„Solche Anwendungen stellen neue Anforderungen an die Qualität und die Transparenz solcher Computermodelle: Einerseits müssen sie präzise die musikalischen Kriterien erfüllen und musikalisch plausible Ergebnisse liefern, andererseits müssen die Vorhersagen nachvollziehbar und verständlich sein. Nur dann können aus Experimenten mit den Modellen auch nützliche Schlüsse gezogen werden", erklärt Widmer.

"Ich gratuliere Prof. Widmer herzlich zum zweiten ERC Advanced Grant! Es ist ein Ausnahmeereignis, dass ein Wissenschaftler zweimal mit dieser hohen Auszeichnung gewürdigt wird. Nicht zu reden von den dahinterstehenden Forschungsbudgets für die JKU. Prof. Widmer ist eine herausragende Forschungspersönlichkeit, die auf dem Exzellenzfeld der Künstlichen Intelligenz bahnbrechende Erkenntnisse gewinnen konnte. Dabei verlässt er immer wieder eingetretene Pfade der Artificial Intelligence Community und setzt sich auch kritisch und sehr reflektiert mit Methoden des Deep Learning auseinander. Derartige Positionen sind in einer Zeit des oft allzu unbedachten AI-Hypes von unschätzbarem Wert. Ich möchte ihm im Namen der JKU für sein Engagement danken. Forscher*innen seines Kalibers sind der Grund für die Pionierrolle, die die JKU im Bereich Artificial Intelligence innehat", gratuliert JKU Rektor Meinhard Lukas.

Grundlagenforschung in Machine Learning und Musikmodellierung
Es handelt sich hier dezidiert um interdisziplinäre Grundlagenforschung,die zwischen Computerwissenschaft, Künstlicher Intelligenz und Musik angesiedelt ist. Dem Projekt liegt Widmers fundamentales Unbehagen mit dem derzeitigen Mainstream in der AI&Musik-Forschung zugrunde, der von massivem "Deep Learning" dominiert ist, bei dem sogenannte tiefe neuronale Netzwerke (deep neural networks) mit riesigen Datenmengen "gefüttert" werden und daraus ein statistisches Modell mit Millionen von Parametern aus den Daten lernen. Auf diese Weise lernen etwa die Computermodelle von Google Magenta, neue Musik zu "komponieren", indem sie Note für Note aus den bereits vorhandenen vorhersagen. Diese Art von Forschung wird nicht zuletzt durch Forschungsteams großer Konzerne wie Google und Amazon vorangetrieben, die über nahezu unbegrenzte Rechenkapazitäten verfügen.

Mehr als eine Anhäufung von Daten
Gerhard Widmer hegt grundlegende Zweifel an der Adäquatheit dieser Art der Forschung, die er bereits 2017 in einem wissenschaftlichen „Manifest“ artikuliert hat. Diese Kritik hat er in seinem neuen ERC-Projektantrag noch einmal nachgeschärft. Er erklärt: „Riesige statistische Optimierungsmaschinen –und nichts anderes sind solche Deep Networks –über Wochen (und unter massivem Einsatz elektrischer Energiean enormen Datenmengen zu trainieren und sie alles von Grund auf selbst daraus lernen zu lassen, ist derzeit sehr populär –auch in der breiteren Öffentlichkeit, wenn von KI die Rede ist. Aber die resultierenden Computermodelle sind im Wesentlichen Black Boxes mit Abermillionen von nicht interpretierbaren Parametern (Zahlen), die uns weder etwas über Musik sagen noch transparent, verständlich und sinnvoll steuerbar sind. Das gilt im Übrigen nicht nur für Musik, sondern für viele Anwendungsbereiche von Deep Learning. Wir wollen einen grundsätzlich anderen Zugang entwickeln, indem wir erforschen, wie musikalisches Wissen in diesen Prozess des Designs und des Trainierens solcher Modelle integriert werden kann. Das Ziel sind strukturierte und transparente Modelle, die ihre Entscheidungen auf verschiedenen Ebenen mit musikalischen Begriffen erklären und nachvollziehbar machen können, und die gleichzeitig eine höhere  musikalische Qualität aufweisen, weil sie Musik als ein komplexes Artefakt auf vielen Abstraktionsebenen ,begreifen‘. Das würde eine deutliche Trendwende in der aktuellen Forschung im Bereich KI & Musik bedeuten, was von den Gutachter*innen, die den ERC-Grant vergeben, auch genau so gesehen wurde. Und was sie uns auch zutrauen."

Prof. Widmers Forschungsteam am Institut für Computational Perception der JKU ist nicht umsonst als eines der führenden Teams weltweit bekannt.

Musikalische Simulation und kreatives Explorieren
Praktische Motivation und auch titelgebend für das Projekt ist die Idee, mittels solcher Computermodelle neue Möglichkeiten für die systematische Erforschung musikalischer Möglichkeiten und Alternativen mittels "Simulation" zu eröffnen. Was sich auf den ersten Blick sehr abstrakt anhört, erklärt Widmer anhand einiger (derzeit noch fiktiver) Beispiele: „Transparente, präzise steuerbare (parametrisierbare) Computermodelle, die musikalisches Material einer bestimmten Stilrichtung und mit bestimmten Eigenschaften erzeugen, Trends in musikalischen Daten identifizieren und vielleicht weiter extrapolieren können, oder musikalische Wahrscheinlichkeiten voraussagen können, würden uns mögliche musikalische Entwicklungen und Zusammenhänge und deren Wahrnehmung und Wirkung praktisch explorieren lassen. Wie hätte ein bestimmter Musikstil sich unter anderen Bedingungen entwickeln können. Zum Beispiel, wenn der Begriff von ,Wohlklang‘ und ,Konsonanz‘ ein anderer wäre? Kann man das hörbar machen? Wie weit wäre das mit unseren Hörgewohnheiten kompatibel? Was versetzt menschliche Zuhörer*innen in die Lage, die Fortsetzung eines unbekannten Stücks vorherzuahnen oder von einer anderen Fortsetzung überrascht zu sein (was sehr viel mit der affektiven Wirkung von Musik zu tun hat)? Lässt sich das als Folge rein statistischen Lernens über ein Leben hinweg erklären, oder welche abstrakten musikalischen Konzepte müsste man als bereits vorhanden annehmen? Oder spielerische Dinge für ein neugieriges Publikum: Wie könnten die Beatles klingen, wenn sie Schubert-Fans gewesen wären? Wir wollen den Computer als Werkzeug weiterentwickeln, das uns hilft, musikalische Möglichkeiten besser zu verstehen und zu erforschen, aber auch die vielfältigen Möglichkeiten von Musik kreativ zu vermitteln."

Anwendungen dieser Forschung sieht Widmer daher zunächst in der Musikforschung, aber auch in der Musikdidaktik. „Wir wollen im Projekt neben Methodenentwicklung auch ganz konkrete Studien in Zusammenarbeit mit Musikforscher*innen durchführen, aber auch interaktive Exhibits für kreative Science-Ausstellungen entwickeln, wo Besucher*innen spielerisch experimentieren und lernen können, wie Musik zusammengesetzt ist oder sein könnte.“ Mittelfristig sieht Widmer aber auch Anwendungspotenzial in den Creative Industries und der digitalen Musik- und Medienwelt, etwa in der Musikproduktion.

Wittgenstein und Bernstein
Es ist dies bereits der zweite ERC Advanced Grant, den Prof. Widmer zugesprochen erhielt (zusätzlich zum österreichischen Wittgensteinpreis). Sein aktuelles ERC-Projekt "Con Espressione" beschäftigt sich mit Computermodellen des Ausdrucks in der Musik; diese Arbeiten werden im neuen Projekt auch Anwendung finden.

Der Projektname "Whither Music?" bezieht sich übrigens auf das Motto einer Vortragsreihe des US-amerikanischen Dirigenten und Komponisten Leonard Bernstein in Harvard (1973), in der dieser über die Alternativlosigkeit (oder doch nicht?) bestimmter musikalischer Entwicklungen im historischen Kontext sinnierte.