Deep Learning: Weltweit gefragte Expertise an der JKU:
Schlüsseltechnologie für Handy und Internet wird in Linz weiterentwickelt

Bei Handy- und Internet-Technologien findet eine Revolution statt: IT-Riesen setzen auf Künstliche Intelligenz (KI), um Sprache zu erkennen, Bilder zu beschreiben, Texte zu analysieren und zu übersetzen. Die Grundlage dieser neuen Methoden ist „Deep Learning“ und im Speziellen LSTM-Netze (Long ShortTerm Memory). Erfunden hat diese neuronalen Netze zur Speicherung von Information bei der Sequenzanalyse Sepp Hochreiter: Professor für Bioinformatik an der Johannes Kepler Universität und weltweit anerkannter KI-Experte.

Sepp Hochreiters Entwicklung ist um die Welt gegangen und befindet sich praktisch in jedem Smartphone. Credit: JKU/Prietzel

Bekannte Systeme wie Amazon Alexa/Echo und Google Home beantworten Fragen führen Kommandos aus, nehmen Bestellungen entgegen und berichten neueste Sportergebnisse. LSTM ermöglichte den Durchbruch der KI in der Sprachverarbeitung und dem Verstehen von Texten. Erst vergangenen Herbst bezeichnete die Zeitschrift Fortune die Veröffentlichung der LSTM-Methode als einen „Key-Moment“ in der Geschichte der KI.

„In den vergangenen Jahren hat die Künstliche Intelligenz Riesensprünge gemacht“, erklärt Hochreiter. „Die LSTM-Architektur, die ich erfunden habe und gemeinsam mit meinem Team gerade weiterentwickle, ist buchstäblich um die Welt gegangen.“ Die Entwicklung ist in Googles Android-Spracherkenner, seit 2015 im Anrufbeantworter des Internet-Konzerns, seit 2016 in seinem Übersetzer und ebenfalls seit dem Vorjahr in Apples iOS 10 Quicktype. „Damit befindet sich praktisch in jedem Smartphone mein LSTM-Netz“, so Hochreiter. „Milliarden von Nutzern verwenden die Netze tagtäglich.“ Und: Sie werden in verschiedenen Forschungsprojekten am JKU-Institut für Bioinformatik ständig weiterentwickelt.

 Menschliches Gehirn als Vorbild Kürzlich wurde ein Projekt vom Wissenschaftsfonds FWF genehmigt, bei dem LSTM in große Deep-Learning-Systeme integriert werden soll. Ziel ist es, mit Computern, gewaltige Datenmengen auszuwerten und mit riesigen neuronalen Netzwerken Analysen durchzuführen. Das Vorbild: das menschliche Gehirn.

Auch der Online-Versandhändler Zalando ist an der Expertise der Linzer interessiert und finanziert ein Projekt, bei dem LSTM eingesetzt werden soll, um neueste Modetrends aufzuspüren und Fashion Blogs zu analysieren.

Begehrte JKU-AbsolventInnen
IT-Giganten wie Microsoft, Google, Facebook, Baidu oder Amazon setzen auf die einzigartige Expertise aus Oberösterreich und investieren Milliardenbeträge in diesem Bereich. „Davon profitiert die JKU selbst, aber auch ihre Studierenden“, betont Hochreiter. „Konzerneigene Forschungseinrichtungen schießen wie die Schwammerln aus dem Boden, ExpertInnen auf diesem Gebiet sind heißbegehrt und hochdotiert.“

Hintergrund Deep Learning
Deep Learning ist eine KI-Methode basierend auf künstlichen neuronalen Netzen, die mit schnellen Computern aus  großen Datenmengen lernen. Es werden automatisch abstrakte Konzepte aus den Daten extrahiert, mit unglaublich guten Ergebnissen bei KI-Problemen. Deep Learning wurde vom Innovationsmagazin „Technology Review“ des Massachusetts Institute of Technology als einer der zehn technologischen Durchbrüche bezeichnet. Deep Learning ist die Technologie auf die alle Internetkonzerne im Moment setzen – sowohl für Sprach- oder Texterkennung als auch bei der Bildverarbeitung.

Hintergrund LSTM
Die von Hochreiter entwickelten LSTM-Netze (Long Short-Term Memory) – quasi ein „langes Kurzzeitgedächtnis“ – können im Gegensatz zu traditionellen rekurrenten Netzen längere, zeitlich verzögerte Effekte, beispielsweise für Klassifizierungsaufgaben, berücksichtigen. Diese Eigenschaft erlaubte LSTM zur führenden Methode in Sprachverarbeitung und Textverstehen zu werden. Die grundlegenden Einsichten von Prof. Hochreiter wie der „Vanishing Gradient“ bilden immer noch die Grundlage von Deep Learning – der Wissenschafter gilt als Pionier auf diesem Forschungsgebiet.