Manchmal bleibt Verwunderung zurück. Bei Nutzung von Künstlicher Intelligenz (KI) kann es passieren, dass man eine Frage stellt und falsche Antworten bekommt. Im Fachjargon sagt man dazu, die KI halluziniert. Passend dazu führte vorige Woche René Heinzl, Co-Founder von datAInsights, im brutkasten-Talk aus, wie das passiert, wieso Halluzinationen ein großes Problem in dem Bereich darstellen und warum auch Microsoft und Google keine zufriedenstellende Lösung dafür finden. Sein Wiener Startup hat indes einen anderen Weg zu dieser Problembewältigung eingeschlagen und stützt sich dabei auf explizite statt auf implizite Fakten. Er und CEO Markus Nissl erklären.

DatAInsights-Founder: “Kann zur Unschärfe kommen”

Large Language Models (LLMs), die als Basis für Künstliche Intelligenz dienen, sind wie eine Zeichenkette aufgebaut. Hier wirken Wahrscheinlichkeiten, die das nächste Zeichen (konkret das nächste Wort oder um noch genauer zu sein, die nächsten Buchstaben) produzieren und als Antworten auf Fragen liefern.

“Wenn als Beispiel Wien und Sehenswürdigkeiten in der Anfrage drinnen steht, hat die KI den Kontext ‘Wien’ ein wenig verstanden”, sagt Nissl. “Sie weiß, es gibt Sehenswürdigkeiten in Wien, aber durch eine Unschärfe kann es dazu kommen, dass etwa Ergebnisse aus Salzburg ebenfalls ausgewiesen werden. Einfach weil es sich immer um eine Wahrscheinlichkeit handelt.”

Token-Prediction

Die aktuelle Technologie bei LLMs basiert in anderen Worten auf “Token-Prediction”, auf die das Modell zurückgreift, um die nächste Buchstabenfolge zu erstellen. Nissl erklärt das mit einem Beispiel, in dem man zwei unterschiedliche Leute darum bittet, einen Satz zu vervollständigen. “Jeder Mensch wird den Satz anders beenden”, sagt er. “Bei Firmendaten allerdings möchte ich nicht, dass eine falsche Zahl herauskommt, beim Umsatz oder dergleichen. Das war die Basis unserer Überlegung für unsere Lösung. Wir wollten echte Fakten, die nicht in Unschärfe geraten.”

DatAInsights mit explizitem Wissen

Die aktuellen Lösungen von u.a. Google oder Microsoft verwenden autoregressive Deep-Learning-Netzwerke, die stets das Problem haben, dass das nächste Wort falsch sein kann. Statt auf strukturiertes und globales Wissen zuzugreifen, extrahieren und nutzen diese Modelle implizites Wissen direkt aus den Daten, mit denen sie trainiert wurden.

“Die sind abgespeichert”, erklärt Heinzl. “Aber du musst sehr viel Text heranziehen und das LLM solange trainieren, bis es sie sich merkt. Da kann es passieren, das anderes wichtiger scheint. Wir hingegen verwenden explizite Fakten bzw. explizites Wissen, das dokumentiert ist. Da gibt es kein ‘falsch oder richtig’. Wir reichern bestehende Knowledge-Systeme mit Quellen an, sodass sie für unsere Architektur verarbeitet werden können.”

Investmentrunde noch vor dem Sommer?

Mit ihrer Lösung hat das KI-Startup in Österreich bereits für Aufsehen gesorgt und ist, wie die Founder erklären, unter Investor:innen gefragt. Man merke, dass man den großen Playern bei diesem Problem weit voraus sei.

In diesem Sinne gehört zu den nächsten Zielen von datAInsights eine kleine Investmentrunde bis zum Sommer aufzustellen, um das Produkt weiterzuentwickeln. Ende des Jahres soll eine größere Runde folgen.