Wie kommt ChatGPT nur darauf? Diese Frage taucht unter anderem auf, wenn das AI-Sprachmodell mal wieder völlig haarsträubende Unwahrheiten von sich gibt. Dass KI-Laien sie nicht beantworten können, verwundert nicht. Doch auch für ausgewiesene Expert:innen lässt sich das „Verhalten“ von AI-Sprachmodellen oft nicht nachvollziehen. Die Rede ist dann immer wieder von einer „Blackbox“. Doch damit will sich ein Team bei OpenAI, dem Unternehmen hinter ChatGPT, nicht zufrieden geben. Es will die vielschichtigen Wege der Künstlichen Intelligenzen (nicht nur des Sprachmodells aus dem eigenen Haus) erklären – natürlich mit einem anderen AI-Tool.

„Wollen der Antwort, die das Modell produziert, vertrauen können“

Mit diesem soll automatisch ermittelt werden, welche Teile eines AI-Sprachmodells für welche seiner „Verhaltensweisen“ verantwortlich sind. Zukünftig sollen damit immer wieder auftretende Probleme der Modelle vermieden werden. „Wir wollen damit voraussehen können, was die Probleme mit einem KI-System sein werden“, erklärt William Saunders, Leiter eines beteiligten Teams bei OpenAI, gegenüber dem US-Magazin TechCrunch. „Wir wollen letztlich wissen, dass wir dem, was das Modell tut, und der Antwort, die es produziert, vertrauen können“.

GPT-2 wird mit GPT-4 getestet

Konkret basiert das neue Tool auf dem ebenfalls von OpenAI stammenden Sprachmodell GPT-4. Getestet wird aktuell an einfacheren Modellen, vor allem am Vor-Vorgänger GPT-2 [Anm. ChatGPT basiert momentan auf GPT-3]. Dabei eruiert das Tool, welche „Neuronen“ des getesteten Modells durch einen Prompt konkret aktiviert werden. Diese „Neuronen“ sind – vereinfacht gesagt – zusammenhängende Informationen, die das Modell zu einem bestimmten Thema erlernt hat. GPT-2 hat laut den Forschern rund 300.000 davon. GPT-4 liefert dann eine Erklärung, warum diese Neuronen aktiviert wurden und wie ihr „Verhalten“ zu verstehen ist. Dazu simuliert das neuere Sprachmodell das erwartete „Verhalten“ und macht einen Abgleich.

Neues OpenAI-Tool noch im Anfangsstadium

„Mit dieser Methodik können wir für jedes einzelne Neuron eine Erklärung für das finden, was es tut, und auch eine Bewertung darüber abgeben, wie gut diese Erklärung mit dem tatsächlichen Verhalten übereinstimmt“, sagt Jeff Wu, ebenfalls OpenAI-Teamleiter, gegenüber TechCrunch. Tatsächlich waren diese Erklärungen laut Team bislang erst bei einem Bruchteil der getesteten Neuronen akkurat. Das neue Tool befinde sich aktuell noch im Anfangsstadium, wird betont. Es ist Open Source auf der Plattform Github zugänglich.