06.07.2023

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

Systeme, die auf künstlicher Intellligenz (KI) basieren, werden immer intelligenter. Ein neues Forschungsteam von OpenAI soll nun herausfinden, wie sich KI in Zukunft kontrollieren lässt.
/artikel/super-ki-openai-will-ausloeschung-der-menschheit-verhindern
OpenAI
Bild: (c) Mariia Shalabaieva/Unsplash

Immer wieder warnten Tech-Leaders in den letzten Jahren vor einer Super-KI, welche die Menschheit auslöschen könnte. Eine Befragung unter Top-CEOs in den USA zeigte im Juni, dass 40 Prozent die Auslöschung der Menschheit durch KI fürchten. Derzeit sind wir noch weit von einer solchen Situation entfernt. Dennoch machen sich kluge Köpfe bereits jetzt Gedanken, wie man eine Super-KI kontrollieren könnte.

Die Super-KI soll menschlichen Absichten folgen

Am Mittwoch verkündete OpenAI in einem Blogartikel die Gründung eines neuen Teams, das Mittel und Wege entwickeln soll, eine solche Super-KI zu kontrollieren. Geleitet wird das neue Team von Ilya Sutskever, dem Chief Scientist von OpenAI und von Jan Leike. Die Forschungsfrage, die das neu geschaffene Team bearbeiten soll, lautet: „Wie stellen wir sicher, dass KI-Systeme, die viel intelligenter sind als Menschen, menschlichen Absichten folgen?“

OpenAI geht davon aus, dass die derzeitigen Kontrollmittel nicht dauerhaft genügen, um eine immer leistungsfähigere KI zu „beaufsichtigen“. Es brauche deshalb mehr Forschung und Technik in diesem Bereich, so OpenAI. Konkret will OpenAI 20 Prozent seiner der Rechenleistung diesem Zweck widmen. Innerhalb von vier Jahren will OpenAI dann das Projekt „Superintelligence Alignment“ abschließen.

Eigene Aufpasser-KI soll trainiert werden

Konkret will das Team eine eigene KI schaffen, die es „Human-level Automated Alignment Researcher“ nennt – also eine Art Aufpasser-KI. Sie soll Justierungen an KI-Systemen vornehmen können, damit diese auch in Zukunft im Sinne der Menschheit handelt.

„Wenn wir diesbezüglich Fortschritte machen, können unsere KI-Systeme immer mehr unserer Justierungsarbeit übernehmen und letztendlich bessere Justierungstechniken ausarbeiten, implementieren, studieren und entwickeln, als wir es jetzt haben“, schrieben Leike und weitere OpenAI-Forscher im August 2022 in einem Blogartikel.

Enge Zusammenarbeit mit menschlichen Wissenschaftlern

Die neuen KI-Forschungssysteme würden dann „mit Menschen zusammenarbeiten, um sicherzustellen, dass ihre eigenen Nachfolger stärker auf Menschen ausgerichtet sind“, so Lemke und seine Kollegen. Menschliche Wissenschaftler:innen würden ihre Bemühungen in Zukunft stattdessen stärker auf die Überprüfung der von KI-Systemen durchgeführten Forschung konzentrieren, anstatt diese Forschung selbst zu generieren.

Deine ungelesenen Artikel:
10.11.2026

KI-Agenten gezielt steuern: Warum klare Grenzen im Kundenservice entscheidend sind

KI-Agenten können im Kundenservice viel leisten, solange sie wissen, wo ihre Grenzen liegen. Ein Gastbeitrag über die gezielte Steuerung von KI im Kundenkontakt.
/artikel/ki-agenten-gezielt-steuern-warum-klare-grenzen-im-kundenservice-entscheidend-sind
10.11.2026

KI-Agenten gezielt steuern: Warum klare Grenzen im Kundenservice entscheidend sind

KI-Agenten können im Kundenservice viel leisten, solange sie wissen, wo ihre Grenzen liegen. Ein Gastbeitrag über die gezielte Steuerung von KI im Kundenkontakt.
/artikel/ki-agenten-gezielt-steuern-warum-klare-grenzen-im-kundenservice-entscheidend-sind

Ein Kunde fragt nach dem Lieferstatus seiner Bestellung. Ein anderer benötigt eine Produktempfehlung. Ein dritter möchte wissen, welche Bedingungen für eine Reklamation gelten. Obwohl alle drei Anfragen im Kundenservice eingehen, stellen sie unterschiedliche Anforderungen an den Einsatz künstlicher Intelligenz. Denn während eine Produktberatung individuell formuliert werden kann, müssen Auskünfte zu Vertragsbedingungen auf verbindlichen Informationen beruhen.

Für mittelständische Unternehmen stellt sich deshalb eine zentrale Frage: Wie lässt sich genau festlegen, welche Informationen KI-Agenten nutzen und welche Aufgaben sie eigenständig übernehmen dürfen?

Unternehmen müssen bestimmen, worauf die KI zugreifen darf

Moderne Sprachmodelle können Informationen verarbeiten, Zusammenhänge erkennen und Antworten formulieren. Im Kundenservice reicht diese Fähigkeit allein jedoch nicht aus. Entscheidend ist, dass die KI ausschließlich auf Informationen und Funktionen zugreift, die für das jeweilige Anliegen freigegeben sind.

Bei Fragen zu Lieferbedingungen sollte sie beispielsweise nur die aktuellen Unternehmensrichtlinien berücksichtigen. Bei einer allgemeinen Produktberatung kann es dagegen sinnvoll sein, verschiedene Wissensquellen miteinander zu verknüpfen. Für eine Bestellstatusabfrage wiederum benötigt der Agent Zugriff auf aktuelle Daten aus einem angebundenen System.

Was in der Praxis häufig unterschätzt wird: KI muss im Unternehmen nicht als frei agierendes System eingesetzt werden. Durch gezielte Konfiguration lassen sich Informationsquellen, Antwortvorgaben und Handlungsmöglichkeiten so eingrenzen, dass KI-Agenten innerhalb klar definierter Regeln arbeiten. Damit können Unternehmen KI auch dort einsetzen, wo Verlässlichkeit und Kontrolle besonders wichtig sind.

Dabei lässt sich nicht nur festlegen, welche internen Dokumente, Datenbanken oder externen Quellen verwendet werden dürfen. Auch der Zugriff auf eine Websuche oder die Ausführung bestimmter Aktionen kann eingeschränkt werden.

Restriktiv, generativ oder agentisch: Der Anwendungsfall entscheidet

Je nach Aufgabe können unterschiedliche KI-Ansätze zum Einsatz kommen. Diese schließen sich nicht gegenseitig aus, sondern lassen sich innerhalb einer Kundenservice-Lösung miteinander kombinieren.

Restriktive KI: Antworten innerhalb klarer Vorgaben

Bei verbindlichen Auskünften sind enge Grenzen notwendig. Ein restriktiv konfigurierter KI-Agent greift ausschließlich auf freigegebene Informationen zurück und darf definierte Antwortvorgaben nicht verlassen.

Fehlen die erforderlichen Informationen, sollte das System keine Aussagen ergänzen oder Vermutungen anstellen. Stattdessen kann es die Anfrage an einen Mitarbeitenden weiterleiten.

Dieser Ansatz eignet sich beispielsweise für Garantiebedingungen, Vertragsinformationen oder sensible Serviceprozesse.

Generative KI: Individuelle Antworten auf kontrollierter Wissensbasis

Andere Anliegen erfordern eine flexiblere Kommunikation. Möchte ein Kunde mehrere Produkte vergleichen oder technische Zusammenhänge verstehen, kann generative KI Informationen aus hinterlegten Wissensquellen zusammenführen und verständlich aufbereiten.

Dabei muss die KI nicht auf ihr allgemeines Trainingswissen zurückgreifen. Sie kann so konfiguriert werden, dass ihre Antworten ausschließlich auf ausgewählten Unternehmensinformationen basieren. Die Formulierung bleibt flexibel, während die zugelassenen Informationsquellen klar definiert sind.

Agentische KI: Aufgaben innerhalb festgelegter Berechtigungen ausführen

Agentische KI geht über die reine Beantwortung von Fragen hinaus. Sie kann verfügbare Werkzeuge auswählen, Schnittstellen nutzen und mehrstufige Aufgaben bearbeiten.

Beispielsweise kann ein KI-Agent eine Bestellnummer entgegennehmen, den zugehörigen Status über eine Schnittstelle abfragen und die Information anschließend verständlich ausgeben.

Welche Aktionen er ausführen darf, legt das Unternehmen fest. Ein Agent kann somit berechtigt sein, Bestelldaten abzurufen, ohne gleichzeitig Änderungen oder Stornierungen vornehmen zu dürfen.

Die Steuerung erfolgt auf Ebene einzelner Anliegen

Für mittelständische Unternehmen ist es häufig sinnvoll, nicht sämtliche Kundenanfragen nach denselben Regeln bearbeiten zu lassen.

So lässt sich beispielsweise festlegen, dass ein Agent bei Fragen zu Unternehmensrichtlinien ausschließlich interne Dokumente verwendet. Bei allgemeinen Fachfragen kann eine ergänzende Websuche erlaubt sein. Geht es hingegen um kundenspezifische Informationen, erfolgt der Zugriff über eine autorisierte Schnittstelle.

Auch die Grenzen der Automatisierung können individuell definiert werden. Während ein Agent den Bearbeitungsstand einer Reklamation selbstständig mitteilen darf, kann eine Erstattungsentscheidung weiterhin einem Mitarbeitenden vorbehalten bleiben.

Entsprechende Möglichkeiten zur Verknüpfung von Wissensquellen, KI-Funktionen und bestehenden Systemen bieten Plattformen wie DialogBits für den KI-gestützten Kundenservice.

Praxisbeispiel: KI-Agent beim HERDT-Verlag

Wie sich die Bearbeitung unterschiedlicher Kundenanliegen mit kontrollierten Systemzugriffen verbinden lässt, zeigt der HERDT-Verlag für Bildungsmedien.

Dort unterstützt der KI-Agent „Berti“ Kunden im Online-Shop. Über angebundene Werkzeuge kann er unter anderem Bestellinformationen abrufen und verschiedene Anliegen innerhalb eines Gesprächs bearbeiten.

Die verfügbaren Funktionen und ihre Einsatzmöglichkeiten werden dabei konfiguriert. Anhand der jeweiligen Kundenanfrage wählt der Agent ein geeignetes Werkzeug aus, ohne uneingeschränkten Zugriff auf sämtliche Systeme zu erhalten.

In den ersten zwei Wochen nach der Umstellung beantwortete Berti bereits 76 Kundenanfragen eigenständig. Die Success Story des HERDT-Verlags zeigt, wie dieser Ansatz in der Praxis umgesetzt wurde.

Fazit: Kontrolle ist die Grundlage sinnvoller Automatisierung

Der Einsatz von KI-Agenten im Kundenservice bedeutet nicht, künstlicher Intelligenz möglichst viele Freiheiten einzuräumen. Vielmehr müssen Unternehmen bestimmen können, welche Informationen genutzt, welche Antworten formuliert und welche Aktionen ausgeführt werden dürfen.

Gerade für mittelständische Betriebe liegt darin ein wesentlicher Vorteil: Unterschiedliche Serviceprozesse lassen sich automatisieren, ohne für jede Anfrage denselben Handlungsspielraum zuzulassen. Entscheidend ist nicht, wie viel ein KI-Agent grundsätzlich kann, sondern was er im jeweiligen Kontext tatsächlich darf.

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Der Inhalt des Artikels diskutiert die potenzielle Gefahr einer Superintelligenten KI und die Bemühungen von OpenAI, Wege zu finden, um diese zu kontrollieren und sicherzustellen, dass sie den Absichten der Menschheit folgt. Das hat verschiedene gesellschaftspolitische Auswirkungen: 1. Bewusstsein für mögliche Risiken: Die Diskussion über Superintelligente KI und ihre potenzielle Bedrohung für die Menschheit sensibilisiert die Öffentlichkeit und Entscheidungsträger für die möglichen negativen Auswirkungen dieser Technologie. 2. Regulierung und Kontrolle: Die Bemühungen von OpenAI, eine eigene KI zu entwickeln, um die Kontrolle über eine Superintelligente KI sicherzustellen, könnten zu einer verstärkten Regulierung und Kontrolle von KI-Systemen führen. Dies könnte Auswirkungen auf die Entwicklung und Implementierung von KI in verschiedenen Bereichen der Gesellschaft haben. 3. Ethik und Verantwortung: Die Diskussion über die Kontrolle von Superintelligenter KI wirft auch Fragen der Ethik und Verantwortung auf. Es stellt sich die Frage, wer für die Handlungen und Entscheidungen von KI-Systemen verantwortlich ist und wie ethische Prinzipien in die Entwicklung und Nutzung dieser Technologie integriert werden können. 4. Zusammenarbeit zwischen Mensch und Maschine: OpenAI betont die enge Zusammenarbeit zwischen KI-Systemen und menschlichen Wissenschaftlern, um sicherzustellen, dass die KI-Systeme auf menschliche Werte und Absichten ausgerichtet sind. Dies deutet auf eine Veränderung der Zusammenarbeit zwischen Mensch und Maschine hin und könnte Auswirkungen auf Arbeitsstrukturen und Rollen in der Zukunft haben. Insgesamt hat der Inhalt des Artikels das Potenzial, das Bewusstsein für die Problematik von Superintelligenter KI zu schärfen und den Diskurs über Regulierung, Ethik und Zusammenarbeit zwischen Mensch und Maschine zu fördern.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Der Inhalt des Artikels hat potenziell weitreichende wirtschaftliche Auswirkungen. Die Schaffung einer Superintelligenz und die Entwicklung von Kontrollmechanismen für KI-Systeme erfordern erhebliche Investitionen in Forschung und Technologie. OpenAI plant, einen beträchtlichen Teil seiner Rechenleistung für diese Zwecke einzusetzen. Dies könnte zu einer verstärkten Nachfrage nach hochqualifizierten KI-Experten führen und die KI-Forschungs- und Entwicklungsbranche weiter antreiben. Darüber hinaus könnten Unternehmen, die erfolgreich leistungsfähige KI-Systeme entwickeln und kontrollieren können, einen Vorsprung bei der Nutzung und Vermarktung dieser Technologien haben. Insgesamt wird der Artikel eine Diskussion über die Auswirkungen und Herausforderungen von Super-KI auf die Wirtschaft auslösen.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Als Innovationsmanager:in spielt der Artikel eine relevante Rolle, da er auf die mögliche Bedrohung einer Super-KI hinweist und die Bemühungen von OpenAI, diese zu kontrollieren. Dies zeigt, dass die Entwicklung und Erforschung von KI-Systemen weiterhin von großer Bedeutung ist, aber auch potenzielle Risiken birgt. Als Innovationsmanager:in sollten Sie sich mit diesen Fortschritten sowie den Möglichkeiten und Risiken auseinandersetzen, um sicherzustellen, dass Ihre Organisation von den Vorteilen der KI profitieren kann und gleichzeitig mögliche Bedrohungen im Blick behält.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Für Investoren ist der Inhalt dieses Artikels relevant, da er auf die potenziellen Risiken und Herausforderungen hinweist, die mit der Entwicklung von Superintelligenten KI-Systemen verbunden sind. Das Engagement von OpenAI zur Kontrolle und Ausrichtung solcher Systeme unterstreicht die Bedeutung von ethischen und sicherheitsrelevanten Aspekten bei der Weiterentwicklung von KI-Technologien. Investoren sollten sich daher über die Fortschritte und Maßnahmen in diesem Bereich informieren und mögliche Auswirkungen auf Unternehmen und Branchen berücksichtigen, die in der KI-Forschung und -Entwicklung tätig sind.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Als Politiker:in ist es wichtig, auf dem aktuellen Stand der Technologieentwicklung zu sein, um politische Entscheidungen treffen zu können, die den gesellschaftlichen Fortschritt fördern und potenzielle Risiken reduzieren. Das Thema der Superintelligenz und der Kontrolle von KI-Systemen, wie in diesem Artikel erwähnt, betrifft die zukünftige Entwicklung der KI und deren potenzielle Auswirkungen auf die Menschheit. Durch die Kenntnis und das Verständnis dieser Entwicklungen können Politiker:innen politische Rahmenbedingungen schaffen, die die Sicherheit und den Nutzen von KI gewährleisten und gleichzeitig ethische Bedenken berücksichtigen.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Der Artikel beleuchtet das Thema der potenziellen Auslöschung der Menschheit durch eine Superintelligente KI und wie das Unternehmen OpenAI dieses Risiko angeht. OpenAI hat ein neues Team gegründet, um Wege zu finden, eine solche KI zu kontrollieren und sicherzustellen, dass sie den Absichten der Menschen folgt. Sie planen, eine eigene Aufpasser-KI zu entwickeln, die anpassungen an KI-Systemen vornehmen kann. Dieser Artikel verdeutlicht die wachsenden Bedenken der Tech-Industrie bezüglich der Kontrolle und Auswirkungen hochentwickelter KI-Systeme auf die Menschheit und zeigt den Einsatz von OpenAI zur Lösung dieser Herausforderungen.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

  • Ilya Sutskever
  • Jan Leike

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

Die relevantesten Organisationen und Unternehmen in diesem Artikel sind:
  • OpenAI

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern