Wie kommt ChatGPT nur darauf? Diese Frage taucht unter anderem auf, wenn das AI-Sprachmodell mal wieder völlig haarsträubende Unwahrheiten von sich gibt. Dass KI-Laien sie nicht beantworten können, verwundert nicht. Doch auch für ausgewiesene Expert:innen lässt sich das „Verhalten“ von AI-Sprachmodellen oft nicht nachvollziehen. Die Rede ist dann immer wieder von einer „Blackbox“. Doch damit will sich ein Team bei OpenAI, dem Unternehmen hinter ChatGPT, nicht zufrieden geben. Es will die vielschichtigen Wege der Künstlichen Intelligenzen (nicht nur des Sprachmodells aus dem eigenen Haus) erklären – natürlich mit einem anderen AI-Tool.
„Wollen der Antwort, die das Modell produziert, vertrauen können“
Mit diesem soll automatisch ermittelt werden, welche Teile eines AI-Sprachmodells für welche seiner „Verhaltensweisen“ verantwortlich sind. Zukünftig sollen damit immer wieder auftretende Probleme der Modelle vermieden werden. „Wir wollen damit voraussehen können, was die Probleme mit einem KI-System sein werden“, erklärt William Saunders, Leiter eines beteiligten Teams bei OpenAI, gegenüber dem US-Magazin TechCrunch. „Wir wollen letztlich wissen, dass wir dem, was das Modell tut, und der Antwort, die es produziert, vertrauen können“.
GPT-2 wird mit GPT-4 getestet
Konkret basiert das neue Tool auf dem ebenfalls von OpenAI stammenden Sprachmodell GPT-4. Getestet wird aktuell an einfacheren Modellen, vor allem am Vor-Vorgänger GPT-2 [Anm. ChatGPT basiert momentan auf GPT-3]. Dabei eruiert das Tool, welche „Neuronen“ des getesteten Modells durch einen Prompt konkret aktiviert werden. Diese „Neuronen“ sind – vereinfacht gesagt – zusammenhängende Informationen, die das Modell zu einem bestimmten Thema erlernt hat. GPT-2 hat laut den Forschern rund 300.000 davon. GPT-4 liefert dann eine Erklärung, warum diese Neuronen aktiviert wurden und wie ihr „Verhalten“ zu verstehen ist. Dazu simuliert das neuere Sprachmodell das erwartete „Verhalten“ und macht einen Abgleich.
Neues OpenAI-Tool noch im Anfangsstadium
„Mit dieser Methodik können wir für jedes einzelne Neuron eine Erklärung für das finden, was es tut, und auch eine Bewertung darüber abgeben, wie gut diese Erklärung mit dem tatsächlichen Verhalten übereinstimmt“, sagt Jeff Wu, ebenfalls OpenAI-Teamleiter, gegenüber TechCrunch. Tatsächlich waren diese Erklärungen laut Team bislang erst bei einem Bruchteil der getesteten Neuronen akkurat. Das neue Tool befinde sich aktuell noch im Anfangsstadium, wird betont. Es ist Open Source auf der Plattform Github zugänglich.
In Museen und Bibliotheken weltweit lagern hunderttausende Inschriften und über eine Million Papyrusfragmente aus der Antike. Der Großteil des Materials ist fragmentarisch und schwer lesbar. „92 Prozent der Papyri warten bis heute auf ihre Entzifferung. Ein gigantischer, unerschlossener Schatz der Geschichte“, heißt es per Aussendung der Österreichischen Akademie der Wissenschaften (ÖAW). Genau hier möchte Apollo ansetzen.
Apollo: „Neues Fenster zu unserem gemeinsamen kulturellen Erbe“
Entwickelt wurde das Large Language Model (LLM) in einer Kooperation zwischen der ÖAW und den europäischen KI-Unternehmen Mistral AI und SAIL Reply. Am gestrigen Mittwoch präsentierten die Forschungspartner die erste Stufe des Apollo-KI-Systems, das ab sofort der Wissenschaft und der Öffentlichkeit zur Verfügung steht.
„Apollo zeigt, was europäische Zusammenarbeit leisten kann, wenn KI, die gezielt an wissenschaftliche Anforderungen angepasst werden kann, auf jahrhundertealtes wissenschaftliches Wissen trifft“, sagt Guillaume Lample, Co-Founder und Chief Scientist von Mistral. „Indem Mistrals Technologie dabei hilft, Texte wiederherzustellen, die seit zweitausend Jahren nur fragmentarisch überliefert sind, eröffnet sie ein neues Fenster zu unserem gemeinsamen kulturellen Erbe – und das ist erst der Anfang.“
600 Millionen Wörter
Die meisten Texte der Antike sind nur unvollständig überliefert und es fehlen einzelne Wörter oder sogar ganze Textpassagen. Das Sprachmodell Apollo könne fehlende Inhalte von Fragmenten eigenständig ergänzen und dabei helfen, das Verständnis und die historische Einordnung eines Schriftstückes zu verbessern.
Obwohl für das Training der KI in Altgriechisch nur 600 Millionen Wörter zur Verfügung standen – mehrere zehn Milliarden Wörter gelten üblicherweise als der Standard für LLMs – sei eigenen Angaben nach Apollo treffsicher.
„Bei einem vorhandenen Originaltext auf Papyrus erreicht das Modell bei maskierten, also bewusst versteckten Passagen eine Trefferquote von rund 80 Prozent“, erklärt Anna Dolganov, Forscherin am Österreichischen Archäologischen Institut der ÖAW und Mastermind hinter dem Projekt. Bei tatsächlich unbekannten Textlücken bewerteten internationale Fachexpert:innen, die das KI-System im Rahmen einer Blindstudie evaluiert haben, Apollos Vorschläge in 77 Prozent der Fälle als mindestens ebenso gut wie durch Menschen vorgenommene Ergänzungen und in 16–20 Prozent der Fälle sogar besser, heißt es.
Apollo erkennt Sprachstufen
Besonders beeindruckend sei zudem, wie präzise Apollo zwischen verschiedenen Sprachstufen des Griechischen unterscheiden kann, betont Dolganov: „Unser LLM kann mit vergleichsweise geringem Wissen über einen Kontext weitreichende Schlüsse ziehen. Anhand von Satzbau und Vokabular erkennt Apollo präzise, ob ein Text zum Beispiel aus Homers ‚Odyssee‘ stammt, und ergänzt ihn im passenden Sprachregister.“
Als Beweis zeigte Dolganov bei der Präsentation von Apollo etwa eine antike Geburtsurkunde, die vollständig rekonstruiert wurde. Zudem wurde eine beim Ausbruch des Vesuvs verkohlte Schriftrolle an entscheidenden Stellen „vollständig lesbar gemacht“. Und mit der Rekonstruktion einer fragmentarischen Inschrift aus dem Schwarzmeerraum hat sich der Forscherin zufolge belegen lassen, dass in einer bestimmten Region bereits römisches Recht galt. Die Aussendung sprach hierbei von einer „weitreichenden Erkenntnis, die durch einen Beleg für die römische Prostitutionssteuer untermauert wird.“
Weitere Stufen geplant
„Mithilfe der KI entsteht ein neues Bild der antiken Sozial- und Wirtschaftsgeschichte, da sich viele Erkenntnisse erst aus der Masse der Dokumente ergeben – etwa bei Steuerquittungen“, präzisiert Dolganov.
Und Heinz Faßmann, Präsident der Österreichischen Akademie der Wissenschaften, ergänzt: „Apollo bringt die Erforschung von historischen Schriftstücken und Dokumenten in ein neues Zeitalter. Der Einsatz des neuen Sprachmodells wird völlig neue Forschungsfragen zulassen und unser historisches Wissen erweitern. Wir sind stolz, dass die ÖAW gemeinsam mit dem europäischen KI-Unternehmen Mistral diese wegweisende Technologie entwickelt hat. Für die Zukunft streben wir eine vertiefte Zusammenarbeit mit Mistral an.“
Der ersten Stufe des Modells sollen bald noch weitere folgen. „Das Ziel ist ambitioniert, aber machbar“, wie Dolganov betont: Die KI soll künftig unerschlossene Papyri sowohl entziffern als auch rekonstruieren können. Geplant ist außerdem eine Erweiterung, mit der das Modell thematische und semantische Suchen in der gesamten griechischen Textüberlieferung durchführen sowie Parallelstellen suchen soll und so die passende Evidenz für Ergänzungsvorschläge gleich mitliefert.
Dolganov, die ÖAW und Mistral wollen jedoch bei Altgriechisch nicht aufhören. Aufbauend auf den Erfahrungen soll die KI künftig auch mit einem lateinischen Textkorpus trainiert werden. Dafür stehen dann rund zwölf Milliarden Wörter zur Verfügung. Was für das Projekt noch fehlt, sei ein passender Name.
Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.
