06.07.2023

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

Systeme, die auf künstlicher Intellligenz (KI) basieren, werden immer intelligenter. Ein neues Forschungsteam von OpenAI soll nun herausfinden, wie sich KI in Zukunft kontrollieren lässt.
/artikel/super-ki-openai-will-ausloeschung-der-menschheit-verhindern
OpenAI
Bild: (c) Mariia Shalabaieva/Unsplash

Immer wieder warnten Tech-Leaders in den letzten Jahren vor einer Super-KI, welche die Menschheit auslöschen könnte. Eine Befragung unter Top-CEOs in den USA zeigte im Juni, dass 40 Prozent die Auslöschung der Menschheit durch KI fürchten. Derzeit sind wir noch weit von einer solchen Situation entfernt. Dennoch machen sich kluge Köpfe bereits jetzt Gedanken, wie man eine Super-KI kontrollieren könnte.

Die Super-KI soll menschlichen Absichten folgen

Am Mittwoch verkündete OpenAI in einem Blogartikel die Gründung eines neuen Teams, das Mittel und Wege entwickeln soll, eine solche Super-KI zu kontrollieren. Geleitet wird das neue Team von Ilya Sutskever, dem Chief Scientist von OpenAI und von Jan Leike. Die Forschungsfrage, die das neu geschaffene Team bearbeiten soll, lautet: „Wie stellen wir sicher, dass KI-Systeme, die viel intelligenter sind als Menschen, menschlichen Absichten folgen?“

OpenAI geht davon aus, dass die derzeitigen Kontrollmittel nicht dauerhaft genügen, um eine immer leistungsfähigere KI zu „beaufsichtigen“. Es brauche deshalb mehr Forschung und Technik in diesem Bereich, so OpenAI. Konkret will OpenAI 20 Prozent seiner der Rechenleistung diesem Zweck widmen. Innerhalb von vier Jahren will OpenAI dann das Projekt „Superintelligence Alignment“ abschließen.

Eigene Aufpasser-KI soll trainiert werden

Konkret will das Team eine eigene KI schaffen, die es „Human-level Automated Alignment Researcher“ nennt – also eine Art Aufpasser-KI. Sie soll Justierungen an KI-Systemen vornehmen können, damit diese auch in Zukunft im Sinne der Menschheit handelt.

„Wenn wir diesbezüglich Fortschritte machen, können unsere KI-Systeme immer mehr unserer Justierungsarbeit übernehmen und letztendlich bessere Justierungstechniken ausarbeiten, implementieren, studieren und entwickeln, als wir es jetzt haben“, schrieben Leike und weitere OpenAI-Forscher im August 2022 in einem Blogartikel.

Enge Zusammenarbeit mit menschlichen Wissenschaftlern

Die neuen KI-Forschungssysteme würden dann „mit Menschen zusammenarbeiten, um sicherzustellen, dass ihre eigenen Nachfolger stärker auf Menschen ausgerichtet sind“, so Lemke und seine Kollegen. Menschliche Wissenschaftler:innen würden ihre Bemühungen in Zukunft stattdessen stärker auf die Überprüfung der von KI-Systemen durchgeführten Forschung konzentrieren, anstatt diese Forschung selbst zu generieren.

Deine ungelesenen Artikel:
13.08.2026

Sind VCs out? – im Interview mit dem Bits & Pretzels Co-Founder

Seit 2014 zieht die Bits & Pretzels Startup- und Innovationsbegeisterte nach München. Heuer mit Steven Bartlett und Trevor Noah als Stargästen. Mitgründer Bernd Storm van's Gravesande erklärt, warum ein Ankerkunde für viele Startups eine starke Ergänzung oder Alternative zu VC-Kapital sein kann und warum ohne VCs trotzdem kein Startup-Ökosystem existieren würde.
/artikel/sind-vcs-out-im-interview-mit-dem-bits-pretzels-co-founder
13.08.2026

Sind VCs out? – im Interview mit dem Bits & Pretzels Co-Founder

Seit 2014 zieht die Bits & Pretzels Startup- und Innovationsbegeisterte nach München. Heuer mit Steven Bartlett und Trevor Noah als Stargästen. Mitgründer Bernd Storm van's Gravesande erklärt, warum ein Ankerkunde für viele Startups eine starke Ergänzung oder Alternative zu VC-Kapital sein kann und warum ohne VCs trotzdem kein Startup-Ökosystem existieren würde.
/artikel/sind-vcs-out-im-interview-mit-dem-bits-pretzels-co-founder
Bits & Pretzels Mitgründer und Managing Director Bernd Storm van's Gravesande © Bits & Pretzels

Weißwurst zum Frühstück, Brezn zur Beteiligungsverhandlung: Wenn München jedes Jahr im Herbst zur Wiesn bläst, verwandelt sich ein Teil der Stadt gleichzeitig in die größte Gründerbühne Europas. Seit 2014 zählt die Bits & Pretzels zu den wichtigsten Innovationsevents des Kontinents. Größen wie Barack Obama oder Arnold Schwarzenegger haben in München bereits ihre Weisheiten mit dem Publikum geteilt. Bei der dreitägigen Konferenz geht es aber nicht nur um Inspiration, sondern vor allem um Austausch und potenzielle Kundengewinnung. Genau darin sieht Bits-&-Pretzels-Mitgründer und Managing Director Bernd Storm van’s Gravesande eine relevante Alternative zur klassischen Kapitalaufnahme über VCs.


brutkasten: Die polarisierende These, mit der wir heute starten: VCs sind out, Corporates sind in. Wie kommst du dazu?

Bernd Storm van’s Gravesande: Ich möchte die zentrale und wichtige Rolle von VCs damit überhaupt nicht kleinreden – ohne Venture Capital gäbe es das ganze Startup-Ökosystem nicht, das muss uns klar sein. Aber die Überspitzung dient natürlich auch dazu, dass wir erkennen: Für viele Startups – nicht für alle – gibt es Alternativen. Nämlich, dass ein Ankerkunde manchmal passender ist als ein Ankerinvestor. Da muss man immer definieren: für wen, für welches Startup, in welcher Phase.

Aber ein Ankerkunde kann sehr wertvoll sein. Nehmen wir ein Beispiel, das gerade in aller Munde ist: Defense. Wir haben die Helsings, die Quantum Systems und so weiter. Das ist eine spezielle Branche, aber das Muster dahinter erkennen wir auch in anderen Branchen. Bei all diesen hast du nicht nur reine VCs, sondern etwa mit der Bundeswehr oder mit internationalen Staaten ganz konkrete Kunden, mit denen du nicht nur über potenzielle Umsätze sprichst, sondern über ganz konkrete.

Wenn du als Startup schon zahlende Kunden mitbringen kannst, ist das so viel mehr wert als jede Powerpoint oder Marktanalyse. Das ist der eigentliche Proof. Du hast einen Ankerkunden und das ist sehr viel wert, auch für künftige Partner- und Kundenbeziehungen oder spätere Finanzierungsrunden.

Ist das eine Entwicklung, die du erst in letzter Zeit beobachtest, oder war das eigentlich immer schon so?

Die Rahmenbedingungen haben sich verändert, es geht verstärkt in diese Richtung. Vor vier, fünf Jahren war Kapital sehr günstig, Venture Capital war auch leichter in höheren Bewertungsrunden aufzunehmen. Da war es nicht so zwingend notwendig, zähe Corporate Deals einzugehen. Diese Rahmenbedingungen haben sich geändert.

Gleichzeitig haben sich aus meiner Sicht auch die Corporates selbst entwickelt. Vor zehn Jahren war es fancy, Acceleratoren und Innovation Labs zu haben, Innovationsprogramme – ein bisschen Schaufensterdekoration. Daraus ist inzwischen ein existenzieller Druck geworden, vor allem im Bereich KI. Die Corporates sehen die Innovation von Startups nicht mehr als Nice-to-have, sondern stehen so stark unter Druck, dass sie darauf angewiesen sind und überlegen müssen, wie sie diese intern nutzen können. Das sind die zwei Hauptfaktoren, die sich geändert haben: die Rahmenbedingungen für die Kapitalaufnahme und die Dringlichkeit der Corporates, externe Innovation aufzunehmen oder mit Startups zusammenzuarbeiten.

Bei der Bits & Pretzels haben wir ja nicht nur Investoren und Kunden, sondern auch 500 CIOs, weil wir verstehen, dass diese künftige Kunden- oder Entwicklungsbeziehung in unserer Wirtschaft notwendig sein wird – wir reden über Europa, über Deutschland. Das ist keine temporäre Reaktion, nach dem Motto: Weil Kapital teurer ist, machen wir eben was anderes. Es geht klar in die Richtung, dass man idealerweise sehr früh im Rahmen der Produktentwicklung gemeinsam mit Ankerkunden erste Umsätze generiert und am Markt Fortschritte erzielt.

Gibt es Red Flags, bei denen du sagen würdest: Finger weg von dieser Corporate-Venturing-Beziehung?

Red Flag ist ein hartes Wort, aber vorsichtig wäre ich bei Innovationslaboren. Ich würde jedem empfehlen, direkt zum Bereichsleiter oder zur Bereichsleiterin mit Umsatz- und Kostenverantwortung zu gehen, weil man dann bei den Entscheider ist. Ich würde mich nur eng committen, wenn man einen Kontakt auf Vorstands- oder Bereichsvorstandsebene hat – einen C-Level-Sponsor, weil man sonst nicht alle Türen öffnen kann.

Man muss sich vor Augen halten: Wenn du ein Corporate als Kunden siehst, ist das ein toller Proof, aber auch ein Riesen-Pain. Ein häufiges Problem, ein Stolperstein, ist die Geschwindigkeit. Wenn ich als kleiner Gründer an einen DAX-Konzern herantrete, bin ich startklar, ich fange morgen mit der Entwicklung an. Aber die brauchen so viele Abstimmungen – Rechtsabteilungen, Bereichsleiter, Einkaufsprozesse, Integrationsschnittstellen, IT-Implementierungsbudgets. Das dauert. Das muss man als Gründer wissen, das geht nicht von heute auf morgen. Was ich aus eigener Erfahrung und von vielen anderen auf der Bits & Pretzels gehört habe, nenne ich „Pilotitis“: Lass uns mal einen kostenlosen Proof of Concept machen und dann weitersehen. Mit hoher Wahrscheinlichkeit geht das nie in den Echtbetrieb, das ist die falsche Herangehensweise.

Beim Thema Kundenrisiko: Wenn Corporates Exklusivität wollen, dann höchstens temporär, sechs, zwölf Monate, aber bitte nicht 24 Monate – sonst bist du gefangen und kannst nur hoffen, dass sie dir Folgeprojekte geben. Ein weiteres mögliches Warnsignal: Wenn sich der Einkaufsprozess so in die Länge zieht, dass etwa ein Betriebsrat zustimmen muss, sollte man sich fragen, ob das trotzdem der richtige Kunde ist – als Gründer hat man ja ohnehin schon Zeitdruck, etwas FOMO und ein bisschen Paranoia.

Wo passen die VCs in diesem Bild trotzdem noch rein? Wo macht es weiterhin mehr Sinn, auf VC zu setzen statt auf Corporates als Pilotkunden?

Grundsätzlich immer, wenn man ein skalierbares Tech-Business-Modell hat. Ich sage nur, dass VC nicht mehr die einzige Option ist. Die Anzahl der Finanzierungsrunden geht runter, die Anzahl der Gründungen geht hoch – also müssen sich Gründer zwangsläufig überlegen, wo sie außer von VCs Geld herbekommen. Umsatz ist das neue Risikokapital, plakativ gesagt. Das kann für viele funktionieren, weil nicht alle von Milliardenrunden wie bei Helsing oder von den gerade raisenden Health-Tech-Companies gesegnet sind. Wir reden auch über den Mittelstand der Gründungen, der ebenfalls Umsatz braucht – und kein VC-Geld zu bekommen heißt nicht automatisch, keinen Erfolg am Markt zu haben. Viele bekommen keinen VC. Und ich plädiere dafür, zu überlegen, dass Umsatz auch gutes, für viele sogar das passende Kapital sein kann.

Auf der Bits & Pretzels findet auch heuer wieder der CIO AI Summit statt, den ich intern kuratiere und hoste. Da kommen 500 CIOs aus dem deutschen Mittelstand, aus der deutschen Industrie und von Großunternehmen zusammen, tauschen sich zunächst untereinander aus, und dann öffnen wir den Raum, damit jeder Gründer und jede Gründerin mit ihnen in Kontakt treten kann. Genau das sind mögliche Kontaktpunkte, um Ankerkunden zu gewinnen – und auch für jedes österreichische Startup, das den deutschen Markt als relevant erachtet, eine sehr effiziente Möglichkeit, Industriekontakte zu knüpfen.

Wenn wir schon bei der Bits & Pretzels sind: Wie ist es euch eigentlich gelungen, Steven Bartlett heuer als Speaker zu gewinnen und auf welche Highlights darf man sich sonst noch freuen?

Beharrlichkeit. Es ist nicht das erste und nicht das zweite Mal, dass wir angefragt haben, das erste Mal ungefähr 2024. Wir haben als Veranstalter den Luxus, aber auch die Bürde, zu überlegen, wer passt, wer motiviert, wer inspiriert, wer den Leuten Energie im Raum gibt und die Gespräche entfacht. Und da waren wir uns immer einig, dass Steven Bartlett ein toller Mensch ist – selbst Gründer, und durch seine Empathie in seinen Interviews betont er immer wieder genau diesen menschlichen Aspekt hinter dem Unternehmen, hinter der Gründung. Das passt sehr gut zu unserem heurigen Motto „Human After All“. Dazu kommt seine enorme Expertise: Er ist ein sehr guter Speaker, ein bisschen Celebrity, aber eben auch ein fantastischer Fachexperte, der die Leute begeistern kann – und das wollen wir. Also leider keine wahnsinnige Story von einem zufälligen Treffen beim Kaffee in London, sondern schlicht Hartnäckigkeit, bis er endlich Zeit hatte.

Ein bisschen in dieselbe Richtung geht auch Trevor Noah, den wir ebenfalls dabei haben: Auch er ist Unternehmer, hat für Microsoft eine KI-Serie gemacht, ist also vom Fach. Ich glaube, solche Personen können unsere Themen nochmal ganz anders beleuchten, aus einer anderen Perspektive, und die Leute begeistern. Ein bisschen Out-of-the-box-Denken eben – deshalb holen wir sie.


Die Bits & Pretzels 2026 findet heuer von 28. bis 30. September 2026 wieder in München statt.

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Der Inhalt des Artikels diskutiert die potenzielle Gefahr einer Superintelligenten KI und die Bemühungen von OpenAI, Wege zu finden, um diese zu kontrollieren und sicherzustellen, dass sie den Absichten der Menschheit folgt. Das hat verschiedene gesellschaftspolitische Auswirkungen: 1. Bewusstsein für mögliche Risiken: Die Diskussion über Superintelligente KI und ihre potenzielle Bedrohung für die Menschheit sensibilisiert die Öffentlichkeit und Entscheidungsträger für die möglichen negativen Auswirkungen dieser Technologie. 2. Regulierung und Kontrolle: Die Bemühungen von OpenAI, eine eigene KI zu entwickeln, um die Kontrolle über eine Superintelligente KI sicherzustellen, könnten zu einer verstärkten Regulierung und Kontrolle von KI-Systemen führen. Dies könnte Auswirkungen auf die Entwicklung und Implementierung von KI in verschiedenen Bereichen der Gesellschaft haben. 3. Ethik und Verantwortung: Die Diskussion über die Kontrolle von Superintelligenter KI wirft auch Fragen der Ethik und Verantwortung auf. Es stellt sich die Frage, wer für die Handlungen und Entscheidungen von KI-Systemen verantwortlich ist und wie ethische Prinzipien in die Entwicklung und Nutzung dieser Technologie integriert werden können. 4. Zusammenarbeit zwischen Mensch und Maschine: OpenAI betont die enge Zusammenarbeit zwischen KI-Systemen und menschlichen Wissenschaftlern, um sicherzustellen, dass die KI-Systeme auf menschliche Werte und Absichten ausgerichtet sind. Dies deutet auf eine Veränderung der Zusammenarbeit zwischen Mensch und Maschine hin und könnte Auswirkungen auf Arbeitsstrukturen und Rollen in der Zukunft haben. Insgesamt hat der Inhalt des Artikels das Potenzial, das Bewusstsein für die Problematik von Superintelligenter KI zu schärfen und den Diskurs über Regulierung, Ethik und Zusammenarbeit zwischen Mensch und Maschine zu fördern.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Der Inhalt des Artikels hat potenziell weitreichende wirtschaftliche Auswirkungen. Die Schaffung einer Superintelligenz und die Entwicklung von Kontrollmechanismen für KI-Systeme erfordern erhebliche Investitionen in Forschung und Technologie. OpenAI plant, einen beträchtlichen Teil seiner Rechenleistung für diese Zwecke einzusetzen. Dies könnte zu einer verstärkten Nachfrage nach hochqualifizierten KI-Experten führen und die KI-Forschungs- und Entwicklungsbranche weiter antreiben. Darüber hinaus könnten Unternehmen, die erfolgreich leistungsfähige KI-Systeme entwickeln und kontrollieren können, einen Vorsprung bei der Nutzung und Vermarktung dieser Technologien haben. Insgesamt wird der Artikel eine Diskussion über die Auswirkungen und Herausforderungen von Super-KI auf die Wirtschaft auslösen.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Als Innovationsmanager:in spielt der Artikel eine relevante Rolle, da er auf die mögliche Bedrohung einer Super-KI hinweist und die Bemühungen von OpenAI, diese zu kontrollieren. Dies zeigt, dass die Entwicklung und Erforschung von KI-Systemen weiterhin von großer Bedeutung ist, aber auch potenzielle Risiken birgt. Als Innovationsmanager:in sollten Sie sich mit diesen Fortschritten sowie den Möglichkeiten und Risiken auseinandersetzen, um sicherzustellen, dass Ihre Organisation von den Vorteilen der KI profitieren kann und gleichzeitig mögliche Bedrohungen im Blick behält.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Für Investoren ist der Inhalt dieses Artikels relevant, da er auf die potenziellen Risiken und Herausforderungen hinweist, die mit der Entwicklung von Superintelligenten KI-Systemen verbunden sind. Das Engagement von OpenAI zur Kontrolle und Ausrichtung solcher Systeme unterstreicht die Bedeutung von ethischen und sicherheitsrelevanten Aspekten bei der Weiterentwicklung von KI-Technologien. Investoren sollten sich daher über die Fortschritte und Maßnahmen in diesem Bereich informieren und mögliche Auswirkungen auf Unternehmen und Branchen berücksichtigen, die in der KI-Forschung und -Entwicklung tätig sind.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Als Politiker:in ist es wichtig, auf dem aktuellen Stand der Technologieentwicklung zu sein, um politische Entscheidungen treffen zu können, die den gesellschaftlichen Fortschritt fördern und potenzielle Risiken reduzieren. Das Thema der Superintelligenz und der Kontrolle von KI-Systemen, wie in diesem Artikel erwähnt, betrifft die zukünftige Entwicklung der KI und deren potenzielle Auswirkungen auf die Menschheit. Durch die Kenntnis und das Verständnis dieser Entwicklungen können Politiker:innen politische Rahmenbedingungen schaffen, die die Sicherheit und den Nutzen von KI gewährleisten und gleichzeitig ethische Bedenken berücksichtigen.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Der Artikel beleuchtet das Thema der potenziellen Auslöschung der Menschheit durch eine Superintelligente KI und wie das Unternehmen OpenAI dieses Risiko angeht. OpenAI hat ein neues Team gegründet, um Wege zu finden, eine solche KI zu kontrollieren und sicherzustellen, dass sie den Absichten der Menschen folgt. Sie planen, eine eigene Aufpasser-KI zu entwickeln, die anpassungen an KI-Systemen vornehmen kann. Dieser Artikel verdeutlicht die wachsenden Bedenken der Tech-Industrie bezüglich der Kontrolle und Auswirkungen hochentwickelter KI-Systeme auf die Menschheit und zeigt den Einsatz von OpenAI zur Lösung dieser Herausforderungen.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

  • Ilya Sutskever
  • Jan Leike

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

Die relevantesten Organisationen und Unternehmen in diesem Artikel sind:
  • OpenAI

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern