04.04.2023

ChatGPT und dreiste Lügen über Sebastian Kurz

Kommentar. ChatGPT gibt haarsträubenden Schwachsinn von sich. In Sachen Maßnahmen für KI-Literacy ist Gefahr im Verzug.
/artikel/chatgpt-dreiste-luegen-sebastian-kurz
ChatGPT und Sebastian Kurz
Porträt Sebastian Kurz (c) EVP via Wikimedia Commons | Hintergrund (c) Choong Deng Xiang via Unsplash
kommentar

Haben Sie den diesjährigen brutkasten-Aprilscherz gelesen? Sind Sie vielleicht sogar kurz (pun intended) darauf reingefallen? Sebastian Kurz werde Investor in der Startup-Show „2 Minuten 2 Millionen“, hieß es da. Und das, wo der Ex-Kanzler und Startup-Investor momentan doch wegen ganz anderen Dingen, wie einer Hausdurchsuchung und neuen Vorwürfen gegen ihn, in den Medien ist. Dass die Story nicht stimmen kann, war also den meisten unserer Leser:innen schnell klar.

ChatGPT: Fake-News nicht nur am 1. April

So dreist erfundene Artikel gibt es von der brutkasten-Redaktion natürlich nur an einem Tag im Jahr: am 1. April. Und nach einiger Zeit lösen wir unseren Scherz auf und sorgen mit einem prominent platzierten Disclaimer dafür, dass niemand mehr darauf hereinfallen kann. Wir wollen schließlich keine Fake News verbreiten. Ein anderer Akteur, mit dem der brutkasten in Sachen Zugriffe bei weitem nicht mithalten kann, hat dagegen, wie immer wieder beanstandet wird, überhaupt kein Problem mit der Verbreitung von Unwahrheiten: ChatGPT. Eine kleine Kostprobe gefällig? Hier die Beantwortung einer Frage von uns anlässlich unseres Aprilscherzes durch den AI-Chatbot:

Screenshot: https://chat.openai.com/

Zunächst sei der Vollständigkeit halber angemerkt, dass ChatGPT keinen Zugriff auf das Internet hat und somit den aktuellen brutkasten-Aprilscherz nicht kennen und verarbeiten kann. Und nun ein kurzer (hihi) Faktencheck: Im Jahr 2016 war Sebastian Kurz tatsächlich österreichischer Außenminister. Er trat aber weder damals noch zu einem anderen Zeitpunkt bei „2 Minuten 2 Millionen“ auf. Das 2021 verkaufte Linzer Startup Carployee gab es 2016 noch gar nicht – es wurde erst 2018 gegründet. Es pitchte zwar tatsächlich bei „2 Minuten 2 Millionen“ – aber erst in einer 2020 ausgestrahlten Folge. Und zu guter Letzt: Kurz investierte auch in keinem anderen Kontext in Carployee.

An der Aussage von ChatGPT, die auf den ersten Blick durchaus plausibel wirkt, stimmt also fast gar nichts. Das kann man dem AI-Chatbot auch sagen, woraufhin er einen neuen Versuch startet:

Screenshot: https://chat.openai.com/

Und jetzt? Liegt ChatGPT diesmal richtig? Fehlanzeige. Dass Sebastian Kurz nicht Staatssekretär und Minister gleichzeitig war, liegt auf der Hand – 2015 war er bereits Außenminister. Ein Startup namens JobSwipr gab es damals tatsächlich – das wurde später zu Hokify. Das heutige Unicorn GoStudent wurde aber erst 2016 gegründet. Kurz ist bei beiden genannten Unternehmen nicht investiert. Zudem trifft der Begriff „Investitionsveranstaltung“ in dem von ChatGPT vorgebrachten Kontext nicht auf „Startup Live“-Events zu. Also ein weiteres Mal zunächst plausibel klingender, haarsträubender Schwachsinn vom AI-Chatbot. Erst nach einer weiteren Belehrung gibt er auf und gibt eine (zu dem Zeitpunkt, als das Modell trainiert wurde) korrekte Antwort.

Vieles, aber sicher keine Suchmaschine

Dieses Phänomen wurde, wie bereits oben angedeutet, schon mehrfach beschrieben. Es hat technische Hintergründe, die mit der Funktionsweise des Sprachmodells zusammenhängen. Einen Vorsatz zu lügen, bzw. überhaupt die Fähigkeit zu so einem Vorsatz, hat die KI natürlich nicht. Diese Erklärung bringt Endnutzer:innen aber wenig, wenn der Chatbot am Ende lauter Unwahrheiten ausspuckt.

Und so richtig angekommen scheint die Message über die massive Unzuverlässigkeit der Informationen bei den meisten nicht zu sein. Man kann ChatGPT für vieles nutzen, als Suchmaschine aber sicher nicht. Genau das machen aber gar nicht wenige Menschen mittlerweile. Und es werden laufend mehr. Die Antworten kommen schneller und sind leichter konsumierbar, als bei einer klassischen Web-Recherche. Bloß: Sie sind eben teilweise völlig frei „erfunden“ – wenn man das bei einer Künstlichen Intelligenz so sagen kann.

Während einem das in einem Feld, in dem man sich auskennt, wohl sofort auffällt, bleiben die dreisten „Lügen“ von ChatGPT für die meisten Menschen, in den meisten Suchfeldern unerkannt. Die Suche nach Fakten im Internet erfordert durch Fake News, Verschwörungstheorien und Co schon bislang ein gewisses Maß an „Literacy“ und Fähigkeit zur Quellenkritik. Bei ChatGPT wird es fast unmöglich: Mal stimmt es, was da steht, mal stimmt es nicht. Wenn fast nichts davon stimmt, wie im Beispiel oben, fällt die Quellenkritik recht leicht: Nicht Genügend. Doch was, wenn 95 Prozent stimmen? Eine kurze Web-Recherche erweckt den Eindruck, dass die wiedergegeben Fakten in Ordnung sind. Tatsächlich ist ein vielleicht entscheidendes Detail aber vom Chatbot frei erfunden.

Gefahr im Verzug

Das ist gefährlich. Jugendliche verwenden ChatGPT für Schulaufgaben, Erwachsene nutzen es im beruflichen Kontext. Mit ein paar Klicks können vom AI-Chatbot erfundene „Fakten“ auf einer an sich seriösen Website landen, weil sie nicht ausreichend kontrolliert wurden. Sie werden dadurch quasi legitimiert, könnten von weiteren Akteur:innen übernommen werden und sich letztlich verbreiten.

Dabei ist die Technologie hinter ChatGPT großartig. Wer damit umgehen kann, kann wundervolle Dinge damit schaffen. Was es daher braucht, sind nicht (ohnehin schwer umsetzbare) Verbote, sondern eine breite Kampagne für mehr KI-Literacy. Und zwar schnell, denn es ist Gefahr im Verzug. Der Chatbot verbreitet sich immer weiter, wird für immer mehr Menschen Teil ihres Alltags. Es braucht jetzt sehr viel Aufklärung, was man mit dem Tool machen kann und was man lieber bleiben lassen sollte, bevor damit wirklich Schaden angerichtet wird. Dabei ist auch die Politik am Zug.

Deine ungelesenen Artikel:
10.11.2026

KI-Agenten gezielt steuern: Warum klare Grenzen im Kundenservice entscheidend sind

KI-Agenten können im Kundenservice viel leisten, solange sie wissen, wo ihre Grenzen liegen. Ein Gastbeitrag über die gezielte Steuerung von KI im Kundenkontakt.
/artikel/ki-agenten-gezielt-steuern-warum-klare-grenzen-im-kundenservice-entscheidend-sind
10.11.2026

KI-Agenten gezielt steuern: Warum klare Grenzen im Kundenservice entscheidend sind

KI-Agenten können im Kundenservice viel leisten, solange sie wissen, wo ihre Grenzen liegen. Ein Gastbeitrag über die gezielte Steuerung von KI im Kundenkontakt.
/artikel/ki-agenten-gezielt-steuern-warum-klare-grenzen-im-kundenservice-entscheidend-sind

Ein Kunde fragt nach dem Lieferstatus seiner Bestellung. Ein anderer benötigt eine Produktempfehlung. Ein dritter möchte wissen, welche Bedingungen für eine Reklamation gelten. Obwohl alle drei Anfragen im Kundenservice eingehen, stellen sie unterschiedliche Anforderungen an den Einsatz künstlicher Intelligenz. Denn während eine Produktberatung individuell formuliert werden kann, müssen Auskünfte zu Vertragsbedingungen auf verbindlichen Informationen beruhen.

Für mittelständische Unternehmen stellt sich deshalb eine zentrale Frage: Wie lässt sich genau festlegen, welche Informationen KI-Agenten nutzen und welche Aufgaben sie eigenständig übernehmen dürfen?

Unternehmen müssen bestimmen, worauf die KI zugreifen darf

Moderne Sprachmodelle können Informationen verarbeiten, Zusammenhänge erkennen und Antworten formulieren. Im Kundenservice reicht diese Fähigkeit allein jedoch nicht aus. Entscheidend ist, dass die KI ausschließlich auf Informationen und Funktionen zugreift, die für das jeweilige Anliegen freigegeben sind.

Bei Fragen zu Lieferbedingungen sollte sie beispielsweise nur die aktuellen Unternehmensrichtlinien berücksichtigen. Bei einer allgemeinen Produktberatung kann es dagegen sinnvoll sein, verschiedene Wissensquellen miteinander zu verknüpfen. Für eine Bestellstatusabfrage wiederum benötigt der Agent Zugriff auf aktuelle Daten aus einem angebundenen System.

Was in der Praxis häufig unterschätzt wird: KI muss im Unternehmen nicht als frei agierendes System eingesetzt werden. Durch gezielte Konfiguration lassen sich Informationsquellen, Antwortvorgaben und Handlungsmöglichkeiten so eingrenzen, dass KI-Agenten innerhalb klar definierter Regeln arbeiten. Damit können Unternehmen KI auch dort einsetzen, wo Verlässlichkeit und Kontrolle besonders wichtig sind.

Dabei lässt sich nicht nur festlegen, welche internen Dokumente, Datenbanken oder externen Quellen verwendet werden dürfen. Auch der Zugriff auf eine Websuche oder die Ausführung bestimmter Aktionen kann eingeschränkt werden.

Restriktiv, generativ oder agentisch: Der Anwendungsfall entscheidet

Je nach Aufgabe können unterschiedliche KI-Ansätze zum Einsatz kommen. Diese schließen sich nicht gegenseitig aus, sondern lassen sich innerhalb einer Kundenservice-Lösung miteinander kombinieren.

Restriktive KI: Antworten innerhalb klarer Vorgaben

Bei verbindlichen Auskünften sind enge Grenzen notwendig. Ein restriktiv konfigurierter KI-Agent greift ausschließlich auf freigegebene Informationen zurück und darf definierte Antwortvorgaben nicht verlassen.

Fehlen die erforderlichen Informationen, sollte das System keine Aussagen ergänzen oder Vermutungen anstellen. Stattdessen kann es die Anfrage an einen Mitarbeitenden weiterleiten.

Dieser Ansatz eignet sich beispielsweise für Garantiebedingungen, Vertragsinformationen oder sensible Serviceprozesse.

Generative KI: Individuelle Antworten auf kontrollierter Wissensbasis

Andere Anliegen erfordern eine flexiblere Kommunikation. Möchte ein Kunde mehrere Produkte vergleichen oder technische Zusammenhänge verstehen, kann generative KI Informationen aus hinterlegten Wissensquellen zusammenführen und verständlich aufbereiten.

Dabei muss die KI nicht auf ihr allgemeines Trainingswissen zurückgreifen. Sie kann so konfiguriert werden, dass ihre Antworten ausschließlich auf ausgewählten Unternehmensinformationen basieren. Die Formulierung bleibt flexibel, während die zugelassenen Informationsquellen klar definiert sind.

Agentische KI: Aufgaben innerhalb festgelegter Berechtigungen ausführen

Agentische KI geht über die reine Beantwortung von Fragen hinaus. Sie kann verfügbare Werkzeuge auswählen, Schnittstellen nutzen und mehrstufige Aufgaben bearbeiten.

Beispielsweise kann ein KI-Agent eine Bestellnummer entgegennehmen, den zugehörigen Status über eine Schnittstelle abfragen und die Information anschließend verständlich ausgeben.

Welche Aktionen er ausführen darf, legt das Unternehmen fest. Ein Agent kann somit berechtigt sein, Bestelldaten abzurufen, ohne gleichzeitig Änderungen oder Stornierungen vornehmen zu dürfen.

Die Steuerung erfolgt auf Ebene einzelner Anliegen

Für mittelständische Unternehmen ist es häufig sinnvoll, nicht sämtliche Kundenanfragen nach denselben Regeln bearbeiten zu lassen.

So lässt sich beispielsweise festlegen, dass ein Agent bei Fragen zu Unternehmensrichtlinien ausschließlich interne Dokumente verwendet. Bei allgemeinen Fachfragen kann eine ergänzende Websuche erlaubt sein. Geht es hingegen um kundenspezifische Informationen, erfolgt der Zugriff über eine autorisierte Schnittstelle.

Auch die Grenzen der Automatisierung können individuell definiert werden. Während ein Agent den Bearbeitungsstand einer Reklamation selbstständig mitteilen darf, kann eine Erstattungsentscheidung weiterhin einem Mitarbeitenden vorbehalten bleiben.

Entsprechende Möglichkeiten zur Verknüpfung von Wissensquellen, KI-Funktionen und bestehenden Systemen bieten Plattformen wie DialogBits für den KI-gestützten Kundenservice.

Praxisbeispiel: KI-Agent beim HERDT-Verlag

Wie sich die Bearbeitung unterschiedlicher Kundenanliegen mit kontrollierten Systemzugriffen verbinden lässt, zeigt der HERDT-Verlag für Bildungsmedien.

Dort unterstützt der KI-Agent „Berti“ Kunden im Online-Shop. Über angebundene Werkzeuge kann er unter anderem Bestellinformationen abrufen und verschiedene Anliegen innerhalb eines Gesprächs bearbeiten.

Die verfügbaren Funktionen und ihre Einsatzmöglichkeiten werden dabei konfiguriert. Anhand der jeweiligen Kundenanfrage wählt der Agent ein geeignetes Werkzeug aus, ohne uneingeschränkten Zugriff auf sämtliche Systeme zu erhalten.

In den ersten zwei Wochen nach der Umstellung beantwortete Berti bereits 76 Kundenanfragen eigenständig. Die Success Story des HERDT-Verlags zeigt, wie dieser Ansatz in der Praxis umgesetzt wurde.

Fazit: Kontrolle ist die Grundlage sinnvoller Automatisierung

Der Einsatz von KI-Agenten im Kundenservice bedeutet nicht, künstlicher Intelligenz möglichst viele Freiheiten einzuräumen. Vielmehr müssen Unternehmen bestimmen können, welche Informationen genutzt, welche Antworten formuliert und welche Aktionen ausgeführt werden dürfen.

Gerade für mittelständische Betriebe liegt darin ein wesentlicher Vorteil: Unterschiedliche Serviceprozesse lassen sich automatisieren, ohne für jede Anfrage denselben Handlungsspielraum zuzulassen. Entscheidend ist nicht, wie viel ein KI-Agent grundsätzlich kann, sondern was er im jeweiligen Kontext tatsächlich darf.

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

ChatGPT und dreiste Lügen über Sebastian Kurz

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

ChatGPT und dreiste Lügen über Sebastian Kurz

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

ChatGPT und dreiste Lügen über Sebastian Kurz

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

ChatGPT und dreiste Lügen über Sebastian Kurz

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

ChatGPT und dreiste Lügen über Sebastian Kurz

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

ChatGPT und dreiste Lügen über Sebastian Kurz

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

ChatGPT und dreiste Lügen über Sebastian Kurz

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

ChatGPT und dreiste Lügen über Sebastian Kurz

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

ChatGPT und dreiste Lügen über Sebastian Kurz