Sepp Hochreiter stellte 1991 von der Öffentlichkeit vorerst unbeachtet das Konzept des Long Short-Term Memory vor. Heute gilt er als einer der Väter der Artificial Intelligence und sein LSTM-Network ist die Grundlage für Machine Learning, Deep Learning, Text Recognition und viele andere Technologien. Wir haben mit ihm über Entwicklung der Artifical Intelligence, Quantencomputing und Fashion Blogs gesprochen.

+++ Wo steht die Artificial Intelligence wirklich? +++

Was hat sich seit der Einführung der LSTM-Netzwerke Ende der 90er in Sachen Artificial Intelligence getan?

Wir haben vor kurzem Jubiläum gefeiert. Das 20-jährige Jubiläum der Ablehnung des ursprünglichen LSTM-Papers. Wobei die Geschichte schon früher beginnt: Ich habe LSTM schon 1991 in meine Diplomarbeit hineingeschrieben und nicht einmal mein Supervisor (Anm.: Jürgen Schmidhuber) hat es gesehen. Die Diplomarbeit war auf Deutsch, die komplette LSTM-Architektur war aber schon vorhanden. Dann, nachdem ich den Phd in München angefangen habe und über etwas ganz anderes geschrieben habe, das heute auch sehr populär geworden ist – das Flat Minimum – hat mich mein Supervisor wieder auf das LSTM angesprochen und wir haben dann 1995 versucht das LSTM in einer Konferenz unterzubringen, sind aber abgelehnt worden. Dann 1997 haben wir es als Journal Paper publiziert – das ist das Paper, das jetzt immer zitiert wird. Mir war schon 1991 klar, dass LSTM funktioniert. Der einzige Unterschied zu heute war: Damals hatten wir keine so großen Rechner und Datenmengen. Das hat sich dann später geändert.

Ich bin dann nach 1997 in Richtung Bio-Informatik gegangen, weil es in Medizin und Biologie Bedarf an Datenanalysen gab. Mein Supervisor hat das LSTM aber weiterverfolgt und auch verschiedene Forschungsprojekte gemacht. Es hat immer funktioniert, trotzdem hat es keiner so richtig wahrgenommen, bis dann mit Handschriftenerkennung und anderen Dingen, die ersten Challenges gewonnen wurden, bei denen sich gezeigt hat, dass LSTM besser funktioniert, als alles andere. Dann wurde es sehr schnell von Google aufgegriffen. Google hatte so viele Daten und so enorme Rechenpower, dass man dann erst das wahre Potential des LSTM Netzwerks gesehen hat. Heute, wie man weiß, ist es in Alexa von Amazon, in Android, in iOS – in allen für die Sprachverarbeitung wesentlichen Anwendungen.

Wo liegen denn heute die Grenzen der AI?

Mein Ziel ist eine General AI zu bauen. Eine AI, die man als Rohmodell verkaufen kann. Diese KI soll zuerst einmal alle Objekte erkennen können, die man so in der Welt sieht. Dann soll sie hören – vor allem Sprache, aber auch andere Geräusche. Dann soll die KI kommunizieren, am besten durch Natural Language. Dann soll sie die Umgebung auch manipulieren können – Dinge bewegen, Knöpfe drücken. Das kann sie alles lernen, ohne für eine spezielle Aufgabe geschult zu sein. Und dann stelle ich mir vor, dass man so eine AI, der man alles beigebracht hat, an ganz verschiedene Firmen verkauft. Die eine Firma braucht einen Chauffeur, dann fährt die KI Auto, bei der anderen Firma kocht sie. Eine andere KI wird zu einem Altenpfleger, eine andere wird Straßenkehrer und so weiter. Der Punkt ist, dass die KI schon so gut vortrainiert ist, dass sie nur noch kurze Zeit braucht, um spezielle Aufgaben zu erlernen. Da sind wir heute noch nicht – was die KI dazu bräuchte ist Weltverständnis.

Ein Beispiel bei selbstfahrenden Autos: Es geht Wind. Wenn der Wind geht, dann biegen sich Bäume – vielleicht sogar ein bisschen hinein auf die Straße. Als Mensch verstehe ich: Wind bläst, Bäume biegen sich. Aber wenn sich Bäume biegen, fallen sie nicht um. Wenn aber eine KI durch eine Allee fährt und auf einmal beugt sich ein Baum auf die Straße, könnte sie eine Vollbremsung für angebracht halten, weil sie denkt, dass dieser Baum gerade auf die Straße fällt. Nur durch das Weltbild weiß ich, dass das eben nicht passieren wird. Ein anderes Beispiel, wenn eine KI einen Text liest: Ich weiß mit einem Messer kann ich in der Küche Zwiebel schneiden, aber mit einem Messer kann ich auch jemanden umbringen. Um diese zwei Anwendungen von Messer zu verstehen, braucht es wahnsinnig viel Weltwissen, das die KI heute nicht hat. Und um Weltwissen zu erzeugen braucht es riesige Datenmengen.

Welche Rolle spielt denn neben den Datenmengen die Computing-Power?

Im Moment ist die schnelle Hardware in der Forschung die große Limitation. Wir können zum Beispiel viele Sachen nicht in selbstfahrende Autos bringen, die wir offline machen können. Ich kann nicht so viel Batterie in so ein Auto reinstecken, dass ein Großrechner betrieben werden kann. Das heißt: Jetzt müssen wir schauen, dass man diese komplizierten Netzwerke herunter bricht auf ein ganz kleines Gerät. Ein anderes Beispiel: Wir sind mit den zehn größten Pharmafirmen der Welt in einem Konsortium, die auch ihre Daten zusammenlegen. Auch da ist die Hardware der limitierende Faktor. Wir haben nicht genügend GPUs, nicht genügend Rechenpower, um die ganzen Daten von den Pharmafirmen zu verarbeiten. Wir könnten schon viel besser sein, aber die Hardware hinkt nach.

“Wir überlegen, selber das erste Auto zu bauen.”

Denken Sie, dass die Quantencomputer-Technologien Auswirkungen haben könnten?

Ich bin da sehr skeptisch, weil ich seit 20 Jahren immer wieder das Stichwort Quantencomputing höre und ich bisher, bis auf ganz einfache Algorithmen für wirkliche Mini-Problemchen, nicht viel gesehen habe. Ich weiß nicht, ob das durchschlägt. Wenn es durchschlägt, wäre das natürlich eine riesen Sache. Viel hat sich als unrealistisch herausgestellt. Aber: Es gibt schon Firmen, die darauf setzen: Google ist zum Beispiel darauf eingestiegen. Ich bin nur ein bisschen enttäuscht, weil ich schon vor 20 Jahren gehört habe, dass jetzt demnächst der Quantencomputer kommen wird.

+++ Quantencomputer: Eine Lösung für die AI? +++

An welchen Projekten arbeiten Sie gerade mit Ihrem Team?

Das eine ist das Self Driving Thema. Wir haben hier eine Kooperation mit Audi, jedoch ist die deutsche Autoindustrie viel zu behäbig. Wir überlegen, selber das erste Auto zu bauen.

Das nächste große Thema ist Medizin, speziell Drug Design, weil wir festgestellt haben, dass man in einer frühen Phase mit KI viel besser biologische Effekte hervorsagen kann. Die Pharmazeutische Industrie hat Entwicklungskosten von 1,6 Milliarden Euro und braucht 12 Jahre im Durchschnitt für ein Medikament. Wenn ich nach 10 Jahren eine Milliarde Euro reingesteckt habe und dann ist es doch nichts, ist das schlecht. Wenn ich das vorher weiß, spare ich unheimlich viel Geld und Zeit. Das haben die verstanden.

Ein anderes Thema ist die Textverarbeitung – ein Bereich, in den ich tiefer hineingehen möchte. Das gesamte menschliche Wissen liegt in Text vor. Schulbücher, wissenschaftliche Publikationen, Ge-setzestexte, Wikipedia: Alles was sich die Menschen erarbeitet haben, wurde meist textuell niedergelegt. Wenn eine KI Zugriff auf diesen Schatz der Menschheit bekommt und das auch richtig verarbeiten und interpretieren könnte, würden wir mit dem Weltverständnis einen sehr großen Schritt weiter kommen. Das ist eine riesige Chance, die sich jetzt gerade eröffnet. Textanalyse ist aber sehr breites Feld. Automatische Übersetzungen gehören auch dazu. Damit wird die digitale Welt für ein viel breites Publikum zugänglich, weil es völlig egal wird, in welcher Sprache eine Seite ursprünglich formuliert wurde.

Dann haben wir zum Beispiel ein Projekt mit Zalando, bei dem es um Fashion Blogs geht. Dort ist die Idee, dass weltweit alle Fashion-Blogs analysiert werden. Stellen Sie sich vor: In San Francisco war die super coole Party. Dort haben alle ein schwarzes T-Shirt angehabt, mit einem schwarzen Hut. Auf Facebook kommt ein Posting – super Party, super Typen – mit Bild. Jetzt werden Bild und Text analysiert und festgestellt, wie die Typen aussehen und was sie für Gemeinsamkeiten haben. Dann weiß Zalando: In San Francisco stehen jetzt gerade alle auf dieses Schwarze T-Shirt mit Hut. Öffne ich jetzt die Website von Zalando in San Francisco und falle in die Zielgruppe, dann kommt genau dieses schwarze T-Shirt mit Hut auf der ersten Seite. Und weil das die coolen Typen auf der Party angehabt haben, kauf ich mir das. Zalando möchte weltweit Modetrends verfolgen – welche Trends schwappen wohin über, was wird wo kommen. Das wäre eine KI, die sich auf Mode und Fashion spezialisiert.

⇒ Hochreiter auf Wikipedia

Dieses Interview erschien in gedruckter Form im aktuellen Brutkasten Magazin #6