Long Short-Term Memory (LSTM) ist derzeit „die heißeste Technologie, wenn es darum geht, sequentielle Inputs zu verarbeiten“, sagt Hochreiter. LSTM ist ein neuronales Netz, das sich etwas merken und es speichern kann, und zwar selektiv das, was man später wieder brauchen kann, etwa Wörter eines Satzes. Dafür ist LSTM heute bereits in praktisch jedem Mobiltelefon in Verwendung.
Nun möchte Hochreiter dies auch auf das autonome Fahren anwenden.
In den meisten derzeitigen Anwendungen zum autonomen Fahren werden Entscheidungen basierend auf Bildern von einem bestimmten Zeitpunkt getroffen.
Hochreiter will mit LSTM über diese Zeitpunkt-Entscheidungen hinausgehen, um Informationen aus einem größeren Zeitraum für robustere, verlässlichere und schnellere Entscheidungen im autonomen Fahren zu kombinieren.
Dabei sollen auf der Basis von neuronalen Netzen laufend Kamerabilder und sonstige Sensordaten ausgewertet werden. Es sollen auch solche Situationen erkannt und antizipiert werden, die sich im Verlauf der Zeit abzeichnen und aus einem einzelnen Bild nicht verlässlich erkennbar sind, z.B. ein Abbiegemanöver eines anderen Fahrzeugs, wie sich ein Fußgänger einem Auto gegenüber verhält, oder wie sich zwei miteinander kommunizierende Kinder einem Auto gegenüber verhalten werden. Zudem wird im Projekt LSTM4Drive noch der Aspekt der Aufmerksamkeit integriert.
Ziel ist, mit Hilfe von LSTM tatsächliche Fahr-Entscheidungen zu treffen.