06.07.2023

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

Systeme, die auf künstlicher Intellligenz (KI) basieren, werden immer intelligenter. Ein neues Forschungsteam von OpenAI soll nun herausfinden, wie sich KI in Zukunft kontrollieren lässt.
/artikel/super-ki-openai-will-ausloeschung-der-menschheit-verhindern
OpenAI
Bild: (c) Mariia Shalabaieva/Unsplash

Immer wieder warnten Tech-Leaders in den letzten Jahren vor einer Super-KI, welche die Menschheit auslöschen könnte. Eine Befragung unter Top-CEOs in den USA zeigte im Juni, dass 40 Prozent die Auslöschung der Menschheit durch KI fürchten. Derzeit sind wir noch weit von einer solchen Situation entfernt. Dennoch machen sich kluge Köpfe bereits jetzt Gedanken, wie man eine Super-KI kontrollieren könnte.

Die Super-KI soll menschlichen Absichten folgen

Am Mittwoch verkündete OpenAI in einem Blogartikel die Gründung eines neuen Teams, das Mittel und Wege entwickeln soll, eine solche Super-KI zu kontrollieren. Geleitet wird das neue Team von Ilya Sutskever, dem Chief Scientist von OpenAI und von Jan Leike. Die Forschungsfrage, die das neu geschaffene Team bearbeiten soll, lautet: „Wie stellen wir sicher, dass KI-Systeme, die viel intelligenter sind als Menschen, menschlichen Absichten folgen?“

OpenAI geht davon aus, dass die derzeitigen Kontrollmittel nicht dauerhaft genügen, um eine immer leistungsfähigere KI zu „beaufsichtigen“. Es brauche deshalb mehr Forschung und Technik in diesem Bereich, so OpenAI. Konkret will OpenAI 20 Prozent seiner der Rechenleistung diesem Zweck widmen. Innerhalb von vier Jahren will OpenAI dann das Projekt „Superintelligence Alignment“ abschließen.

Eigene Aufpasser-KI soll trainiert werden

Konkret will das Team eine eigene KI schaffen, die es „Human-level Automated Alignment Researcher“ nennt – also eine Art Aufpasser-KI. Sie soll Justierungen an KI-Systemen vornehmen können, damit diese auch in Zukunft im Sinne der Menschheit handelt.

„Wenn wir diesbezüglich Fortschritte machen, können unsere KI-Systeme immer mehr unserer Justierungsarbeit übernehmen und letztendlich bessere Justierungstechniken ausarbeiten, implementieren, studieren und entwickeln, als wir es jetzt haben“, schrieben Leike und weitere OpenAI-Forscher im August 2022 in einem Blogartikel.

Enge Zusammenarbeit mit menschlichen Wissenschaftlern

Die neuen KI-Forschungssysteme würden dann „mit Menschen zusammenarbeiten, um sicherzustellen, dass ihre eigenen Nachfolger stärker auf Menschen ausgerichtet sind“, so Lemke und seine Kollegen. Menschliche Wissenschaftler:innen würden ihre Bemühungen in Zukunft stattdessen stärker auf die Überprüfung der von KI-Systemen durchgeführten Forschung konzentrieren, anstatt diese Forschung selbst zu generieren.

Deine ungelesenen Artikel:
16.10.2026

Das Voting zum „Innovator of the Year“ 2026 – Kategorie Scaleups

Mit dem Innovator of the Year kürt brutkasten jedes Jahr gemeinsam mit seiner Community die innovativsten Köpfe Österreichs. In der Kategorie „Scaleups“ kannst du jetzt bis 1. November 2026 für deine:n Favorit:in abstimmen. Der Award wird am 5. November im Rahmen des brutkasten-Jahresevents Momentum vergeben.
/artikel/das-voting-zum-innovator-of-the-year-2026-kategorie-scaleups
16.10.2026

Das Voting zum „Innovator of the Year“ 2026 – Kategorie Scaleups

Mit dem Innovator of the Year kürt brutkasten jedes Jahr gemeinsam mit seiner Community die innovativsten Köpfe Österreichs. In der Kategorie „Scaleups“ kannst du jetzt bis 1. November 2026 für deine:n Favorit:in abstimmen. Der Award wird am 5. November im Rahmen des brutkasten-Jahresevents Momentum vergeben.
/artikel/das-voting-zum-innovator-of-the-year-2026-kategorie-scaleups
Die diesjährigen Nominierten des "Innovator of the Year" in der Kategorie Scaleups. | © brutkasten

Erfolgreiche Skalierung ist das Ziel jedes Startups. Bekanntlich schaffen das bei weitem nicht alle, doch auch hierzulande wird die Gruppe jener, denen der Sprung zum starken Wachstum gelungen ist, immer größer – und das auch unter bekanntlich teils widrigen Bedingungen.

Auch dieses Jahr schafften wieder einige heimische Unternehmen den Schritt vom Startup zum Scaleup und legten beeindruckende Wachstumsstorys vor. Und einige bereits etablierte Scaleups zeigten eindrücklich, dass ihre Wachstumsambition ungebrochen ist.

Zehn davon holen wir als Nominierte für den Innovator of the Year in der Kategorie Scaleups vor den Vorhang. Der Preis wird heuer zum 6. Mal vergeben. Am 5. November findet die feierliche Award Ceremony im Rahmen des brutkasten-Jahresevents Momentum im Wiener Palais Berg statt. Neben der Kategorie Scaleups wird der Award dieses Jahr in den Kategorien Startups und Corporate Innovation vergeben. Als Preis in allen drei Kategorien winkt jeweils ein brutkasten-Medienpaket im Wert von 4.100 Euro.


Die „Innovator of the Year“-Kategorie Scaleups wird durch Polestar unterstützt.


Publikumsvoting zum Innovator of the Year | Kategorie „Scaleups“

Nun ist, wie jedes Jahr, deine Stimme gefragt. Bis zum 1. November (23:59 Uhr) kannst du für deine:n Favorit:in abstimmen! Jede:r User:in hat pro Tag und Kategorie genau eine Stimme – es lohnt sich also, die eigene Community zu aktivieren.

(Hinweis: Bei mehrfacher Stimmabgabe pro Tag erfolgt zwar keine gesonderte Fehlermeldung im Voting-Tool, Mehrfachvotes werden vom System jedoch automatisiert erkannt und ausgefiltert).

Jetzt voten!

Poll Maker

Emerald Horizon

Das Emerald-Horizon-Management (vl.) Mario J. Müller (Vice President R&D), Philipp Pölzl (Vice President Operations) und Florian Wagner (CEO) | © Wolf
Das Emerald-Horizon-Management (v.l.) Mario J. Müller (Vice President R&D), Philipp Pölzl (Vice President Operations) und Florian Wagner (CEO) | © Wolf

Auffallen ist gewiss eine der Stärken des Grazer Scaleups Emerald Horizon – sei es mit ausgerechnet diesem Produkt, Small Modular Reactors, im traditionell extrem atomkraftkritischen Österreich, mit Personalentscheidungen wie Ex-FPÖ-Chef Norbert Hofer oder mit dem dieses Jahr erfolgten ungewöhnlich frühen Börsengang. An der Wiener Börse wird das Unternehmen jedenfalls mittlerweile seit Monaten jenseits der Milliarden-Euro-Grenze bewertet und kann damit – je nach Definition – als Österreichs jüngstes Unicorn gesehen werden. Für die Entwicklung des Unternehmens gewiss noch entscheidender: Im August verkündete man, gemeinsam mit dem niederländischen Partner VDL Groep in die nächste Entwicklungsstufe des Small Modular Reactors zu gehen.

Enpulsion

Enpulsion-Gründer und -CEO Alexander Reissner | (c) Enpulsion
Enpulsion-Gründer und -CEO Alexander Reissner | (c) Enpulsion

Das niederösterreichische SpaceTech-Scaleup Enpulsion rund um Gründer Alexander Reissner liefert Antriebssysteme für Nano- und Mikrosatelliten. Zu Jahresbeginn sicherte sich das Unternehmen eine 22,5 Millionen Euro schwere Series-B-Finanzierung, um die Produktionskapazitäten am Standort Wiener Neustadt deutlich zu erhöhen. Im August 2026 verkündete Enpulsion zudem die geplante strategische Übernahme der britischen Lift Me Off Ltd, um das eigene Produkt-Portfolio um chemische Antriebe für besonders agiles Manövrieren im Weltraum zu erweitern. Zusätzlich steht für diesen Herbst ein zentraler Meilenstein an: ein Orbit-Test der neuartigen Antriebstechnik an Bord des heimischen Satelliten AT-Astra.

fiskaly

fiskaly - das Gründerteam Simon Tragatschnig (COO), Johannes Ferner (CEO) und Patrick Gaubatz (CTO) | (c) fiskaly
fiskaly – das Gründerteam Simon Tragatschnig (COO), Johannes Ferner (CEO) und Patrick Gaubatz (CTO) | (c) fiskaly

Das 2019 gegründete Wiener Unternehmen fiskaly von Johannes Ferner, Simon Tragatschnig und Patrick Gaubatz macht Kassentransaktionen cloudbasiert und gesetzeskonform. Die Zahlen sprechen für sich: 60 Prozent Wachstum im vergangenen Geschäftsjahr, profitabel, mehr als 150 Mitarbeitende, rund 1.900 B2B-Kund:innen mit über einer Million POS-Systemen in acht EU-Ländern und Marktführerschaft in Deutschland. Im September folgte der nächste Schritt vom Scaleup zum Infrastrukturanbieter: Mit David Feichter holte fiskaly den Ex-CEO von orderbird als Co-CEO an Bord, ausgerechnet jenen Mann, der 2019 als allererster Kunde den Deal mit Ferner verhandelt hatte. Feichter verantwortet den operativen Betrieb, Ferner konzentriert sich auf Partnerschaften und weitere Akquisitionen in Europa.

Flinn AI

Das Founder-Team von Flinn | © Flinn
Das Founder-Team von Flinn | © Flinn

Das 2023 gegründete Scaleup von Gründer Markus Müller entwickelt eine KI-gestützte Software, die regulatorische und qualitative Prozesse für MedTech- und Pharmaunternehmen automatisiert. Im Februar 2026 sorgte das Unternehmen mit einem Series-A-Investment von 20 Millionen Dollar für Aufsehen. Mit dem frischen Kapital treibt das Scaleup in diesem Jahr die gezielte Expansion auf dem US-Markt voran, um sich weltweit als Standard für regulatorische KI-Prüfungen im Gesundheitsbereich zu etablieren. Zudem plant man eine erste eigene Kund:innenkonferenz, die über 200 internationale MedTech-Entscheider:innen nach Wien bringen soll.

fonio.ai

fonio.ai-Co-Founder Daniel Keinrath (CEO, l.) und Matthias Gruber (CTO) | (c) fonio.ai

Wenn bei einem KMU niemand ans Telefon geht, übernimmt fonio.ai: Die KI-Agenten des erst 2024 gegründeten Wiener Startups von Daniel Keinrath und Matthias Gruber führen inzwischen rund zwei Millionen Anrufe pro Monat für über 7.000 Kund:innen. Im Juni schloss man eine Seed-Runde über 14,6 Millionen Euro ab, angeführt vom Londoner Fonds 20VC bei einer Bewertung von 120 Millionen Euro, ohne offiziellen Fundraise und ohne Pitch Deck. Im August knackte fonio.ai die Marke von zehn Millionen Dollar ARR – später folgte im Oktober die Marke von 15 Millionen Dollar. Mehr als die Hälfte des Umsatzes kommt laut Keinrath inzwischen von außerhalb der DACH-Region, im September eröffnete das Startup unter anderem sein Büro in Barcelona als Hub für Südeuropa.

Helferline

v.l.: Die Helferline-Gründer Clemens Schmidgruber und Alexander Niederhofer mit CTO Janko Glavić | (c) Helferline

Es ist eine Geschichte, wie sie nur die Startup-Welt schreiben kann: Vor mehr als zehn Jahren gegründet, konnte Helferline über lange Zeit zwar eine ganze Zahl namhafter Referenzen vorweisen, der wirtschaftliche Durchbruch blieb aber aus. Das änderte sich im Laufe der vergangenen Monate drastisch: Vor etwas mehr als einem Jahr stieg Hansi Hansmann als Investor ein. Seitdem holte man Großaufträge vom deutschen Telekom-Riesen O2, von Asus, von Starlink und weiteren. Aktuell befindet sich das Wiener Scaleup auf einem steilen Wachstumskurs und macht nach eigenen Angaben monatliche sechsstellige Gewinne.

Neoh

v.l.n.r.:  Die Neoh-Gründer Adel Hafizovic, Manuel Zeller und Patrick Kolomaznik | (c) Neoh
v.l.n.r.: Die Neoh-Gründer Adel Hafizovic, Manuel Zeller und Patrick Kolomaznik | (c) Neoh

Das Wiener Scaleup von Manuel Zeller konnte mit Süßigkeiten, die auf dem selbst entwickelten, kalorienarmen Zuckerersatzstoff Zero+ basieren, mittlerweile eine große Fangemeinde aufbauen, die auch über die Grenzen Österreichs hinausgeht. Auch machte, Stand April 2026, das B2B-Geschäft bereits rund 15 Prozent des Gesamtumsatzes aus, mit steigender Tendenz, wie Zeller erklärte. Dies und auch die Entwicklung einer gelungenen Bueno-Alternative sorgten dafür, dass eine Investmentgesellschaft aus Luxemburg namens Teseo Capital ins Scaleup einstieg. Dahinter steht die italienische Familie Ferrero, die mit Marken wie Nutella, Kinder und Ferrero Rocher den Süßigkeitenmarkt dominiert.

ParityQC

Die beiden CEOs von ParityQC: Wolfgang Lechner und Magdalena Hauser. | © Günther Egger

Das Innsbrucker Quantenunternehmen ParityQC von Wolfgang Lechner und Magdalena Hauser hat allein im heurigen Jahr einen 35-Mio.-Deal für den Bau eines mobilen Quantencomputers für das deutsche Verteidigungsministerium ergattert und im Rahmen der „EUREKA-Ausschreibung Deutschland-Israel“ eine Kooperation mit dem israelischen Quantensoftware-Spezialisten Classiq gestartet. Zudem lieferte es im April einen deutlichen Beleg dafür, dass europäisches Quantencomputing den Sprung aus dem Labor in die Industrie geschafft hat. Gemeinsam mit IBM stellte man einen neuen Weltrekord bei der Quanten-Fourier-Transformation (QFT) auf. Konkret wurde dabei die bislang größte jemals gemessene QFT auf einem IBM-Quantum-Heron-Prozessor realisiert, mit 52 supraleitenden Qubits statt der bisherigen 27 Ionenfallen-Qubits.

Reploid

Jonas Finck und Philip Pauer, Vorstände der Reploid Group AG | (c) Reploid / Stefan Beiganz
Jonas Finck und Philip Pauer, Vorstände der Reploid Group AG | (c) Reploid / Stefan Beiganz

Kein anderes heimisches Scaleup schaffte es dieses Jahr, in einer derartigen Regelmäßigkeit für Schlagzeilen zu sorgen. Das seit 2025 an der Wiener Börse gelistete Welser Insektenzucht-Unternehmen baute seine Führungsebene aus, eröffnete neue Expansionsmärkte, präsentierte neue Kund:innen, verkündete eine Übernahme und holte sich einen achtstelligen Wachstumskredit. Wiewohl die Geschäftszahlen bei genauerer Betrachtung etwas komplexer sind, als vom Scaleup dargestellt, steht fest: Reploid ist weiter voll auf Wachstumskurs. 

waterdrop

Die waterdrop-Gründer v.l.n.r: Christoph Hermann, Martin Murray, Henry Murray | (c) waterdrop
Die waterdrop-Gründer v.l.n.r: Christoph Hermann, Martin Murray, Henry Murray | (c) waterdrop

Das Wiener Scaleup waterdrop von Henry Murray, Martin Murray und Christoph Hermann holte sich im Mai ein 100-Millionen-Euro-Investment. Zu den Investor:innen dieser Runde zählten Aspeya, Atlantic Grupa und der alpine Ski-Weltcup-Champion Aleksander Aamodt Kilde. Schon im Jänner dieses Jahres verkündete das Scaleup seine Profitabilität. Zudem übernahm Jristian Cruz Limsico die Rolle des Global Creative Director, der seit 2017 die visuelle Identität des Modehauses Karl Lagerfeld prägte. Er verantwortet nun die weltweite Markenidentität des Unternehmens.

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Der Inhalt des Artikels diskutiert die potenzielle Gefahr einer Superintelligenten KI und die Bemühungen von OpenAI, Wege zu finden, um diese zu kontrollieren und sicherzustellen, dass sie den Absichten der Menschheit folgt. Das hat verschiedene gesellschaftspolitische Auswirkungen: 1. Bewusstsein für mögliche Risiken: Die Diskussion über Superintelligente KI und ihre potenzielle Bedrohung für die Menschheit sensibilisiert die Öffentlichkeit und Entscheidungsträger für die möglichen negativen Auswirkungen dieser Technologie. 2. Regulierung und Kontrolle: Die Bemühungen von OpenAI, eine eigene KI zu entwickeln, um die Kontrolle über eine Superintelligente KI sicherzustellen, könnten zu einer verstärkten Regulierung und Kontrolle von KI-Systemen führen. Dies könnte Auswirkungen auf die Entwicklung und Implementierung von KI in verschiedenen Bereichen der Gesellschaft haben. 3. Ethik und Verantwortung: Die Diskussion über die Kontrolle von Superintelligenter KI wirft auch Fragen der Ethik und Verantwortung auf. Es stellt sich die Frage, wer für die Handlungen und Entscheidungen von KI-Systemen verantwortlich ist und wie ethische Prinzipien in die Entwicklung und Nutzung dieser Technologie integriert werden können. 4. Zusammenarbeit zwischen Mensch und Maschine: OpenAI betont die enge Zusammenarbeit zwischen KI-Systemen und menschlichen Wissenschaftlern, um sicherzustellen, dass die KI-Systeme auf menschliche Werte und Absichten ausgerichtet sind. Dies deutet auf eine Veränderung der Zusammenarbeit zwischen Mensch und Maschine hin und könnte Auswirkungen auf Arbeitsstrukturen und Rollen in der Zukunft haben. Insgesamt hat der Inhalt des Artikels das Potenzial, das Bewusstsein für die Problematik von Superintelligenter KI zu schärfen und den Diskurs über Regulierung, Ethik und Zusammenarbeit zwischen Mensch und Maschine zu fördern.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Der Inhalt des Artikels hat potenziell weitreichende wirtschaftliche Auswirkungen. Die Schaffung einer Superintelligenz und die Entwicklung von Kontrollmechanismen für KI-Systeme erfordern erhebliche Investitionen in Forschung und Technologie. OpenAI plant, einen beträchtlichen Teil seiner Rechenleistung für diese Zwecke einzusetzen. Dies könnte zu einer verstärkten Nachfrage nach hochqualifizierten KI-Experten führen und die KI-Forschungs- und Entwicklungsbranche weiter antreiben. Darüber hinaus könnten Unternehmen, die erfolgreich leistungsfähige KI-Systeme entwickeln und kontrollieren können, einen Vorsprung bei der Nutzung und Vermarktung dieser Technologien haben. Insgesamt wird der Artikel eine Diskussion über die Auswirkungen und Herausforderungen von Super-KI auf die Wirtschaft auslösen.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Als Innovationsmanager:in spielt der Artikel eine relevante Rolle, da er auf die mögliche Bedrohung einer Super-KI hinweist und die Bemühungen von OpenAI, diese zu kontrollieren. Dies zeigt, dass die Entwicklung und Erforschung von KI-Systemen weiterhin von großer Bedeutung ist, aber auch potenzielle Risiken birgt. Als Innovationsmanager:in sollten Sie sich mit diesen Fortschritten sowie den Möglichkeiten und Risiken auseinandersetzen, um sicherzustellen, dass Ihre Organisation von den Vorteilen der KI profitieren kann und gleichzeitig mögliche Bedrohungen im Blick behält.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Für Investoren ist der Inhalt dieses Artikels relevant, da er auf die potenziellen Risiken und Herausforderungen hinweist, die mit der Entwicklung von Superintelligenten KI-Systemen verbunden sind. Das Engagement von OpenAI zur Kontrolle und Ausrichtung solcher Systeme unterstreicht die Bedeutung von ethischen und sicherheitsrelevanten Aspekten bei der Weiterentwicklung von KI-Technologien. Investoren sollten sich daher über die Fortschritte und Maßnahmen in diesem Bereich informieren und mögliche Auswirkungen auf Unternehmen und Branchen berücksichtigen, die in der KI-Forschung und -Entwicklung tätig sind.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Als Politiker:in ist es wichtig, auf dem aktuellen Stand der Technologieentwicklung zu sein, um politische Entscheidungen treffen zu können, die den gesellschaftlichen Fortschritt fördern und potenzielle Risiken reduzieren. Das Thema der Superintelligenz und der Kontrolle von KI-Systemen, wie in diesem Artikel erwähnt, betrifft die zukünftige Entwicklung der KI und deren potenzielle Auswirkungen auf die Menschheit. Durch die Kenntnis und das Verständnis dieser Entwicklungen können Politiker:innen politische Rahmenbedingungen schaffen, die die Sicherheit und den Nutzen von KI gewährleisten und gleichzeitig ethische Bedenken berücksichtigen.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Der Artikel beleuchtet das Thema der potenziellen Auslöschung der Menschheit durch eine Superintelligente KI und wie das Unternehmen OpenAI dieses Risiko angeht. OpenAI hat ein neues Team gegründet, um Wege zu finden, eine solche KI zu kontrollieren und sicherzustellen, dass sie den Absichten der Menschen folgt. Sie planen, eine eigene Aufpasser-KI zu entwickeln, die anpassungen an KI-Systemen vornehmen kann. Dieser Artikel verdeutlicht die wachsenden Bedenken der Tech-Industrie bezüglich der Kontrolle und Auswirkungen hochentwickelter KI-Systeme auf die Menschheit und zeigt den Einsatz von OpenAI zur Lösung dieser Herausforderungen.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

  • Ilya Sutskever
  • Jan Leike

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

Die relevantesten Organisationen und Unternehmen in diesem Artikel sind:
  • OpenAI

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern