06.07.2023

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

Systeme, die auf künstlicher Intellligenz (KI) basieren, werden immer intelligenter. Ein neues Forschungsteam von OpenAI soll nun herausfinden, wie sich KI in Zukunft kontrollieren lässt.
/artikel/super-ki-openai-will-ausloeschung-der-menschheit-verhindern
OpenAI
Bild: (c) Mariia Shalabaieva/Unsplash

Immer wieder warnten Tech-Leaders in den letzten Jahren vor einer Super-KI, welche die Menschheit auslöschen könnte. Eine Befragung unter Top-CEOs in den USA zeigte im Juni, dass 40 Prozent die Auslöschung der Menschheit durch KI fürchten. Derzeit sind wir noch weit von einer solchen Situation entfernt. Dennoch machen sich kluge Köpfe bereits jetzt Gedanken, wie man eine Super-KI kontrollieren könnte.

Die Super-KI soll menschlichen Absichten folgen

Am Mittwoch verkündete OpenAI in einem Blogartikel die Gründung eines neuen Teams, das Mittel und Wege entwickeln soll, eine solche Super-KI zu kontrollieren. Geleitet wird das neue Team von Ilya Sutskever, dem Chief Scientist von OpenAI und von Jan Leike. Die Forschungsfrage, die das neu geschaffene Team bearbeiten soll, lautet: „Wie stellen wir sicher, dass KI-Systeme, die viel intelligenter sind als Menschen, menschlichen Absichten folgen?“

OpenAI geht davon aus, dass die derzeitigen Kontrollmittel nicht dauerhaft genügen, um eine immer leistungsfähigere KI zu „beaufsichtigen“. Es brauche deshalb mehr Forschung und Technik in diesem Bereich, so OpenAI. Konkret will OpenAI 20 Prozent seiner der Rechenleistung diesem Zweck widmen. Innerhalb von vier Jahren will OpenAI dann das Projekt „Superintelligence Alignment“ abschließen.

Eigene Aufpasser-KI soll trainiert werden

Konkret will das Team eine eigene KI schaffen, die es „Human-level Automated Alignment Researcher“ nennt – also eine Art Aufpasser-KI. Sie soll Justierungen an KI-Systemen vornehmen können, damit diese auch in Zukunft im Sinne der Menschheit handelt.

„Wenn wir diesbezüglich Fortschritte machen, können unsere KI-Systeme immer mehr unserer Justierungsarbeit übernehmen und letztendlich bessere Justierungstechniken ausarbeiten, implementieren, studieren und entwickeln, als wir es jetzt haben“, schrieben Leike und weitere OpenAI-Forscher im August 2022 in einem Blogartikel.

Enge Zusammenarbeit mit menschlichen Wissenschaftlern

Die neuen KI-Forschungssysteme würden dann „mit Menschen zusammenarbeiten, um sicherzustellen, dass ihre eigenen Nachfolger stärker auf Menschen ausgerichtet sind“, so Lemke und seine Kollegen. Menschliche Wissenschaftler:innen würden ihre Bemühungen in Zukunft stattdessen stärker auf die Überprüfung der von KI-Systemen durchgeführten Forschung konzentrieren, anstatt diese Forschung selbst zu generieren.

Deine ungelesenen Artikel:
08.09.2026

Gründen in 15 Minuten: Was Europa vom estnischen Startup-Wunder lernen kann

Noch immer kehren vielversprechende Startups Europa den Rücken, um in den USA zu skalieren. Um diese Abwanderung zu stoppen, fordert die Szene eine neue, grenzübergreifende Gesellschaftsform: die EU Inc. Während Brüssel noch über die Umsetzung debattiert, macht Estland seit über einem Jahrzehnt vor, wie es gehen kann: Ein Besuch in der Hauptstadt Tallinn liefert Antworten.
/artikel/gruenden-in-15-minuten-was-europa-vom-estnischen-startup-wunder-lernen-kann
08.09.2026

Gründen in 15 Minuten: Was Europa vom estnischen Startup-Wunder lernen kann

Noch immer kehren vielversprechende Startups Europa den Rücken, um in den USA zu skalieren. Um diese Abwanderung zu stoppen, fordert die Szene eine neue, grenzübergreifende Gesellschaftsform: die EU Inc. Während Brüssel noch über die Umsetzung debattiert, macht Estland seit über einem Jahrzehnt vor, wie es gehen kann: Ein Besuch in der Hauptstadt Tallinn liefert Antworten.
/artikel/gruenden-in-15-minuten-was-europa-vom-estnischen-startup-wunder-lernen-kann

Dieser Text ist zuerst im brutkasten-Printmagazin von August 2026 „Aufbrechen“ erschienen. Eine Download-Möglichkeit des gesamten Magazins findet sich am Ende dieses Artikels.


Um vom Flughafen in Tallinn in die Innenstadt zu kommen, bietet sich eine Fahrt mit dem Fahrdienst Bolt an. Die Autos, E-Scooter und Leih­räder des estnischen Unicorns prägen hier das Straßenbild. 2013 gegründet macht das Unternehmen mittlerweile mehr als zwei Milliarden Euro Umsatz. Die Erfolgsgeschichte von Bolt ist in Estland kein Einzelfall: Bei 1,3 Millionen Einwohner hat der baltische Staat bereits zehn Unicorns hervorgebracht – eine der höchsten Konzentrationen pro Kopf weltweit. Das Auto wird per App bestellt, keine zwei Minuten später ist es da. Der Fahrer scherzt über die durchaus kühlen 16 Grad Mitte Juli: „Estonian summer!“, sagt er schmunzelnd, mit russischem Akzent. Ungewöhnlich ist das in Estland nicht, war man hier vor knapp 40 Jahren doch noch Teil der Sowjetunion.

„Das Land hatte es natürlich nicht einfach. Als es 1991 unabhängig wurde, standen die Esten erst mal vor dem Nichts. Aber sie hatten auch die Chance, von null anzufangen – und haben dann aufs richtige Pferd gesetzt: die Digitalisierung“, sagt Tim Schnöckelborg, ein Deutscher, der seit eineinhalb Jahren in Estland lebt und hier bereits mehrere Unternehmen gegründet hat.

Der digitale Staat

An diesem sonnigen Tag tummeln sich auf dem Rathausplatz in der Mitte Tallinns viele Menschen. Schnöckelborg ist einer von ihnen. Vom digitalen Staat hat er vor allem bei der Gründung seiner Unternehmen profitiert. Bei einem Kaffee erklärt er, was den Kern des Systems ausmacht:

„Der große Vorteil kommt dadurch zustande, dass hier die gesamte Administration des Landes digitalisiert ist. Du kannst also mit der elektronischen Unterschrift alles nutzen, was ein Staat an Dienstleistungen bietet.“

© Hannah Fasching – Tim Schnöckelborg.

Wer sich einen Überblick verschaffen will, kann das e-Estonia Briefing Centre aufsuchen, ein eigenes Besucherzentrum, das über den digitalen Staat informiert. Ein Besuch zeigt: Die digitale Gesellschaft basiert zunächst auf Wissen. Durch landesweite Schulungsprogramme und Initiativen für Senior wurde die gesamte Bevölkerung mitgenommen.

Ein weiterer wichtiger Punkt ist die Transparenz: „Die Behörden können auf sehr viel zugreifen, theoretisch auch auf mein Bankkonto. Wichtig ist aber: Niemand kann deine Daten geheim abrufen. Ich kann online einsehen, wer wann mit welcher Begründung welche Daten von mir von einer Behörde in die andere transferiert hat. Das schafft Vertrauen“, beschreibt Schnöckelborg seine Erfahrung.

Unternehmensgründung aus der Ferne

Schnöckelborg hat in Estland schon mehrere Unternehmen gegründet, er ist ein sogenannter „e-Resident“. Das estnische e-Residency-Programm ermöglicht ausländischen Staatsangehörigen einen sicheren Zugang zu den elektronischen Behördendiensten Estlands. So lässt sich aus fast allen Ländern der Welt in rund 15 Minuten ein estnisches Unternehmen gründen.

„Anfangs dachten wir, es wäre vor allem für Menschen außerhalb der EU attraktiv, da ein estnisches Unternehmen ihnen den EU-Binnenmarkt öffnen würde. Nach etwa der Hälfte der Zeit stellten wir fest, dass es aufgrund der geringen Bürokratie auch für EU-Bürger sehr attraktiv ist“, erzählt Liina Vahtras, Managing Director von e-Residency. Seit dem Start des Programms 2014 haben mehr als 133.000 Personen aus 185 Ländern den e-Residency-Status erhalten und zusammen etwa 39.000 Firmen gegründet. So auch Tim Schnöckelborg:

„Ich habe mein erstes Unternehmen als e-Resident an einem Freitagabend gestartet, und am Samstagmorgen war die Firma da“, blickt er nach wie vor verblüfft zurück.

Was Gründer zusätzlich nach Estland zieht, ist das Steuersystem. „Wir besteuern Unternehmen nicht, solange sie das Geld im Unternehmen belassen. Es gibt also keine Körperschaftsteuer auf einbehaltene Gewinne. Steuern fallen erst an, wenn man Geld aus dem Unternehmen entnimmt, und davon profitieren auch wir: Im vergangenen Jahr zahlten e-Residency-Unternehmen Steuern in Höhe von über 125 Millionen Euro in Estland“, so Vahtras. Im „International Tax Competitiveness Index“ der US-Denkfabrik Tax Foundation, der die OECD-Länder vergleicht, liegt Estland seit zwölf Jahren auf Platz eins.

Europa, der zersplitterte Markt

In den Gesprächen, die von Euphorie über das estnische System geprägt sind, schleicht sich immer wieder Frustration ein. Denn so gut das System hier funktioniert: Im europaweiten Markt stoßen die Gründer dennoch auf Blockaden. Hedi Mardisoo, Board Member der Estonian Founders Society, kennt die Probleme.

Mardisoo ist Gründerin des Insurtechs Cachet, das sie von Estland aus in elf Länder skalierte. Heute setzt sie sich in der Society für die nächste Generation von Gründer:innen ein und versucht, Blockaden europaweit abzubauen. „Wenn ich mit meinem Unternehmen in Europa expandieren will, begegne ich 27 verschiedenen Arten der Unternehmensregistrierung, 27 verschiedenen Notar- und Gerichtssystemen. Wenn du als kleines Startup ein globales Unternehmen aufbauen willst, bist du oft besser dran, woanders hinzugehen, meist in die USA. Das tun viele Startups – und das ist nicht gut für Europa“, so Mardisoo.

© Mardisoo – Hedi Mardisoo, Board Member der Estonian Founders Society.

Auf die Frage, warum die EU für Unternehmensgründungen so unattraktiv sei, antwortet Mardisoo ohne Zögern: „Zu 100 Prozent das Geld. Die Hauptprobleme sind das Geld, die Investor:innen und die Investitionen.“

Vahtras von e-Residency ergänzt: „Investoren sagen sehr oft: ‚Gründe eine Firma in Delaware, weil das für mich einfacher ist‘“ – einfacher, als sich mit den unterschiedlichen Rechtsordnungen der EU-Mitgliedstaaten auseinanderzusetzen. Um diesen Kapital- und Talentabfluss zu stoppen, ruht die Hoffnung nun auf einem Konzept aus Brüssel: der EU Inc.

Das „28. Regime“

Hinter der EU Inc. steht die Forderung nach einer einheitlichen europäischen Gesellschaftsform, dem sogenannten „28. Regime“: Neben 27 nationale Rechtsformen soll eine 28. treten, die eine schnelle, vollständig digitale Gründung ohne Mindeststammkapital ermöglicht.

Nachdem die Forderung nach der EU Inc. über die Jahre von Tausenden europäischen Gründer getragen wurde, verkündete EU-Kommissionspräsidentin Ursula von der Leyen am 20. Jänner 2026 beim Weltwirtschaftsforum in Davos das Vorhaben. Ziel sei eine wahrhaft europäische Unternehmensstruktur mit einheitlichen Kapitalregeln in der gesamten EU: „Unsere Unternehmer, die innovativen Firmen, werden ein Unternehmen binnen 48 Stunden in jedem Mitgliedstaat anmelden können, komplett online. Letzten Endes brauchen wir ein System, in dem Unternehmen nahtlos in ganz Europa Geschäfte machen und Finanzmittel beschaffen können, genauso einfach wie auf einheitlichen Märkten wie den USA oder China.“

Am 18. März 2026 legte die Kommission den Verordnungsentwurf erstmals vor. In der europäischen Startup-Szene stieß er auf heftige Kritik, weil zentrale Forderungen wie die freie Wahl des Registrierungssitzes von Unternehmen nicht erfüllt wurden. Eine Überarbeitung fordern europaweit Vertreter der Szene mit der Initiative „EU-INC“.

Estland als Weg zur EU Inc.?

Zurück im baltischen Staat: Was mit dem 28. Regime gefordert wird – also der Digital-first-Ansatz, geringes Startkapital sowie eine schnelle und grenzüberschreitende Unternehmensgründung –, setzt Estland mit e-Residency bereits seit mehr als zehn Jahren um. Warum das Konzept also nicht einfach kopieren?

© Vahtras – Liina Vahtras, Managing Director von e-Residency.

„Wir haben zur Kommission gesagt: ‚Schaut euch unser Programm an, schaut, wie wir das gelöst haben; vielleicht könnt ihr es wiederverwenden‘“, sagt Vahtras, und weiter: „Unser System ist nicht zu 100 Prozent das, was die EU Inc. sein soll, aber auch, wenn wir nur 50 Prozent der Lösungen bereits umsetzen, sind wir bereit, das zu teilen. Ich hoffe, dass die EU Inc. funktionieren wird – und dass sie die estnische e-Residency als eine Art Blaupause in Betracht ziehen; einfach, um zu sehen, was für uns funktioniert.“

Starken Gegenwind bekommt die EU Inc. von lokalen Akteuren wie Gewerkschaften und Notariatskammern. „Ich glaube nicht, dass irgendjemand Angst vor der EU Inc. haben sollte“, erklärt Hedi Mardisoo. „Einige große Länder blockieren die Umsetzung immer noch und versuchen, viele der wichtigsten Punkte zu verwässern. Man muss sich die Frage stellen: Will man das Alte tatsächlich verändern – oder will man die neue Regulierung einfach so hinbiegen, dass sie zum eigenen System passt? Das kann nicht funktionieren. Wenn man neue Innovationen regulieren will, kann man sie nicht in die alten Rahmenbedingungen quetschen.“

Um mit der EU Inc. erfolgreich zu sein, brauche es einen Mentalitätswandel, sagt Mardisoo: „Was wir aus Estland mitgeben können, ist, alles so einfach wie möglich zu gestalten. Ich war in anderen Ländern tätig, wo die Menschen Angst vor den Behörden hatten. Das zu ändern ist das Erste, was wir anstreben sollten. Dann wird das Umfeld für Unternehmen viel günstiger, die aus der Komfortzone heraustreten und etwas Neues und Innovatives aufbauen wollen.“

Die Währung Vertrauen

„Selbst wenn es eine EU Inc. geben würde, würde ich jedes Mal wieder hier in Estland gründen. Ich sehe den positiven Ansatz der EU-Initiative, aber ich glaube, dass sie in der Realität bei Weitem nicht konkurrenzfähig zu dem Modell ist, das man hier über Jahrzehnte aufgebaut hat“, zieht Tim Schnöckelborg sein Fazit.

Dass Estland heute die Früchte seiner radikalen Digitalisierungsstrategie aus den 90er-Jahren erntet, steht außer Frage. Dennoch ist jede Gesellschaft ein Resultat ihrer Vergangenheit, und in Europa gibt es 27 verschiedene davon. Die Umsetzung einer EU Inc., die den Vorstellungen aller entspricht, bleibt eine Herkulesaufgabe. Estland kann keine Lösung für alle sein, aber der Besuch im baltischen Staat zeigt: Es kann anders gehen, und das mit Erfolg. Das kleine Land profitiert dabei vor allem vom wichtigsten Gut, das man braucht, um Strukturen zu verändern: Vertrauen. Vielleicht ist es genau dieses Vertrauen, das erst geschaffen werden muss, bevor eine EU Inc. für alle und damit eine europaweite Verbesserung der Gründungsbedingungen gelingen kann.


Dieser Beitrag ist im Rahmen von „eurotours 2026“ entstanden, einem Projekt des Bundeskanzleramts, finanziert aus Bundesmitteln.

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Der Inhalt des Artikels diskutiert die potenzielle Gefahr einer Superintelligenten KI und die Bemühungen von OpenAI, Wege zu finden, um diese zu kontrollieren und sicherzustellen, dass sie den Absichten der Menschheit folgt. Das hat verschiedene gesellschaftspolitische Auswirkungen: 1. Bewusstsein für mögliche Risiken: Die Diskussion über Superintelligente KI und ihre potenzielle Bedrohung für die Menschheit sensibilisiert die Öffentlichkeit und Entscheidungsträger für die möglichen negativen Auswirkungen dieser Technologie. 2. Regulierung und Kontrolle: Die Bemühungen von OpenAI, eine eigene KI zu entwickeln, um die Kontrolle über eine Superintelligente KI sicherzustellen, könnten zu einer verstärkten Regulierung und Kontrolle von KI-Systemen führen. Dies könnte Auswirkungen auf die Entwicklung und Implementierung von KI in verschiedenen Bereichen der Gesellschaft haben. 3. Ethik und Verantwortung: Die Diskussion über die Kontrolle von Superintelligenter KI wirft auch Fragen der Ethik und Verantwortung auf. Es stellt sich die Frage, wer für die Handlungen und Entscheidungen von KI-Systemen verantwortlich ist und wie ethische Prinzipien in die Entwicklung und Nutzung dieser Technologie integriert werden können. 4. Zusammenarbeit zwischen Mensch und Maschine: OpenAI betont die enge Zusammenarbeit zwischen KI-Systemen und menschlichen Wissenschaftlern, um sicherzustellen, dass die KI-Systeme auf menschliche Werte und Absichten ausgerichtet sind. Dies deutet auf eine Veränderung der Zusammenarbeit zwischen Mensch und Maschine hin und könnte Auswirkungen auf Arbeitsstrukturen und Rollen in der Zukunft haben. Insgesamt hat der Inhalt des Artikels das Potenzial, das Bewusstsein für die Problematik von Superintelligenter KI zu schärfen und den Diskurs über Regulierung, Ethik und Zusammenarbeit zwischen Mensch und Maschine zu fördern.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Der Inhalt des Artikels hat potenziell weitreichende wirtschaftliche Auswirkungen. Die Schaffung einer Superintelligenz und die Entwicklung von Kontrollmechanismen für KI-Systeme erfordern erhebliche Investitionen in Forschung und Technologie. OpenAI plant, einen beträchtlichen Teil seiner Rechenleistung für diese Zwecke einzusetzen. Dies könnte zu einer verstärkten Nachfrage nach hochqualifizierten KI-Experten führen und die KI-Forschungs- und Entwicklungsbranche weiter antreiben. Darüber hinaus könnten Unternehmen, die erfolgreich leistungsfähige KI-Systeme entwickeln und kontrollieren können, einen Vorsprung bei der Nutzung und Vermarktung dieser Technologien haben. Insgesamt wird der Artikel eine Diskussion über die Auswirkungen und Herausforderungen von Super-KI auf die Wirtschaft auslösen.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Als Innovationsmanager:in spielt der Artikel eine relevante Rolle, da er auf die mögliche Bedrohung einer Super-KI hinweist und die Bemühungen von OpenAI, diese zu kontrollieren. Dies zeigt, dass die Entwicklung und Erforschung von KI-Systemen weiterhin von großer Bedeutung ist, aber auch potenzielle Risiken birgt. Als Innovationsmanager:in sollten Sie sich mit diesen Fortschritten sowie den Möglichkeiten und Risiken auseinandersetzen, um sicherzustellen, dass Ihre Organisation von den Vorteilen der KI profitieren kann und gleichzeitig mögliche Bedrohungen im Blick behält.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Für Investoren ist der Inhalt dieses Artikels relevant, da er auf die potenziellen Risiken und Herausforderungen hinweist, die mit der Entwicklung von Superintelligenten KI-Systemen verbunden sind. Das Engagement von OpenAI zur Kontrolle und Ausrichtung solcher Systeme unterstreicht die Bedeutung von ethischen und sicherheitsrelevanten Aspekten bei der Weiterentwicklung von KI-Technologien. Investoren sollten sich daher über die Fortschritte und Maßnahmen in diesem Bereich informieren und mögliche Auswirkungen auf Unternehmen und Branchen berücksichtigen, die in der KI-Forschung und -Entwicklung tätig sind.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Als Politiker:in ist es wichtig, auf dem aktuellen Stand der Technologieentwicklung zu sein, um politische Entscheidungen treffen zu können, die den gesellschaftlichen Fortschritt fördern und potenzielle Risiken reduzieren. Das Thema der Superintelligenz und der Kontrolle von KI-Systemen, wie in diesem Artikel erwähnt, betrifft die zukünftige Entwicklung der KI und deren potenzielle Auswirkungen auf die Menschheit. Durch die Kenntnis und das Verständnis dieser Entwicklungen können Politiker:innen politische Rahmenbedingungen schaffen, die die Sicherheit und den Nutzen von KI gewährleisten und gleichzeitig ethische Bedenken berücksichtigen.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Der Artikel beleuchtet das Thema der potenziellen Auslöschung der Menschheit durch eine Superintelligente KI und wie das Unternehmen OpenAI dieses Risiko angeht. OpenAI hat ein neues Team gegründet, um Wege zu finden, eine solche KI zu kontrollieren und sicherzustellen, dass sie den Absichten der Menschen folgt. Sie planen, eine eigene Aufpasser-KI zu entwickeln, die anpassungen an KI-Systemen vornehmen kann. Dieser Artikel verdeutlicht die wachsenden Bedenken der Tech-Industrie bezüglich der Kontrolle und Auswirkungen hochentwickelter KI-Systeme auf die Menschheit und zeigt den Einsatz von OpenAI zur Lösung dieser Herausforderungen.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

  • Ilya Sutskever
  • Jan Leike

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

Die relevantesten Organisationen und Unternehmen in diesem Artikel sind:
  • OpenAI

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern