“Großartige Arbeit meines Teams: Erkennen, ob LLMs (Anm.: Large Language Models) halluzinieren. Sie halluzinieren, wenn sie unsicher sind. Wir erkennen diese Unsicherheit und markieren Halluzinationen” – so beschreibt KI-Koryphäe Sepp Hocheiter auf LinkedIn die Errungenschaft, die er uns seine Forscher:innen am Institut für Machine Learning der Johannes Kepler Universität Linz vollbracht haben. Dabei spricht er von dem SDLG-Modell. Der Begriff steht für “Semantically Diverse Language Generation”.

Denn es ist ein großes Thema, das die KI-Community beherrscht. Bei Nutzung von Künstlicher Intelligenz (KI) kann es passieren, dass man eine Frage stellt und falsche Antworten bekommt. Im Fachjargon sagt man dazu, die KI halluziniert.

SDLG verbessert Erkennung von Halluzinationen

Wie brutkasten berichtete, tun sich Giganten wie Google und Microsoft schwer, dieser Problematik habhaft zu werden. Eine neuer Lösungsansatz kam heuer vom Wiener Startup datAInsights, die statt impliziten explizite Fakten bzw. explizites Wissen verwenden, das dokumentiert ist. “Wir reichern bestehende Knowledge-Systeme mit Quellen an, sodass sie für unsere Architektur verarbeitet werden können”, erklärte datAInsights-Co-Founder René Heinzl im März 2023.

Nun kommt ein weiterer Lösungsansatz aus dem Umfeld von Sepp Hochreiter: SDLG. Diese neue Methode verbessert die Erkennung von Halluzinationen in LLMs (Large Language Modellen), indem es die Unsicherheitsabschätzung vorantreibt oder anders gesagt, aufzeigt, wenn ein Large Language Modell “unsicher” ist.

Man muss wissen, dass LLMs als Basis für Künstliche Intelligenz dienen und wie eine Zeichenkette aufgebaut sind. Hier wirken Wahrscheinlichkeiten, die das nächste Zeichen (konkret das nächste Wort oder um noch genauer zu sein, die nächsten Buchstaben) produzieren und Antworten auf Fragen liefern. Da kann es zu Fehlern oder falschen Informationen kommen.

Einstein oder Newton?

“Hochreiter präzisiert gegenüber brutkasten: “Halluzinationen können entstehen, wenn ein Trainingsdaten-Set fehlende oder zu wenige Daten zu einem Thema hat”, sagt er. “‘Albert Einstein hat die Relativitätstheorie entwickelt’ kann in verschiedenen Varianten (Anm.: Einstein hat die Relativitätstheorie erfunden, die Relativitätstheorie wurde von Einstein erfunden oder entwickelt, Der Vater der Relativitätstheorie ist Alber Einstein, etc.) im Trainingsdaten-Set als Information dienen. Gibt es diese nicht oder nur ungenügend, und die KI weiß, dass das Relativität etwas mit Physik zu tun hat, kann es sein, dass die Antwort plötzlich Newton ist.”

SDLG erkennt ob “LLMs halluzinieren”

Lukas Aichberger, “ELLIS PhD”-Student am Institut für Machine Learning der JKU beschreibt per LinkedIn-Post die SDLG-Methode – die er, Kajetan Schweighofer, Mykyta Ielanskyi und Sepp Hochreiter entwickelt haben – wie folgt: “Wir schaffen eine theoretische Grundlage für Unsicherheitsmaße in LLMs und führen theoretisch begründete ‘Estimatoren’ (Schätzer) für semantische Unsicherheit ein. Und stellen eine Methode zur Verfügung, um semantisch vielfältige und dennoch wahrscheinliche Ausgabesequenzen zu erzeugen, indem wir die Texterzeugung eines LLMs so steuern, dass wichtige Informationen für den semantischen Unsicherheitsschätzer erfasst werden.”

In anderen Worten hebt die SDGL-Methode jene Aussagen hervor, wo sich die KI nicht sicher ist und markiert sie, damit man die durch “semantische Unsicherheit” (des Large Language Models) hervorgerufenen Halluzinationen erkennt, wie Hochreiter präzisiert.

Im 23-seitigen Paper, das die Forscher herausgebracht haben, heißt es konkret: “SDLG steuert das LLM, um semantisch unterschiedliche, aber wahrscheinliche Alternativen für einen ursprünglich generierten Text zu erzeugen. Dieser Ansatz liefert ein präzises Maß für die aleatorische (Anm.: vom Zufall abhängige) semantische Unsicherheit und erkennt, ob der ursprüngliche Text wahrscheinlich halluziniert ist. Experimente mit Aufgaben zur Beantwortung von Fragen zeigen, dass SDLG bestehende Methoden durchgängig übertrifft und dabei rechnerisch am effizientesten ist, wodurch ein neuer Standard für die Unsicherheitsabschätzung in LLMs gesetzt wird.”