06.07.2023

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

Systeme, die auf künstlicher Intellligenz (KI) basieren, werden immer intelligenter. Ein neues Forschungsteam von OpenAI soll nun herausfinden, wie sich KI in Zukunft kontrollieren lässt.
/artikel/super-ki-openai-will-ausloeschung-der-menschheit-verhindern
OpenAI
Bild: (c) Mariia Shalabaieva/Unsplash

Immer wieder warnten Tech-Leaders in den letzten Jahren vor einer Super-KI, welche die Menschheit auslöschen könnte. Eine Befragung unter Top-CEOs in den USA zeigte im Juni, dass 40 Prozent die Auslöschung der Menschheit durch KI fürchten. Derzeit sind wir noch weit von einer solchen Situation entfernt. Dennoch machen sich kluge Köpfe bereits jetzt Gedanken, wie man eine Super-KI kontrollieren könnte.

Die Super-KI soll menschlichen Absichten folgen

Am Mittwoch verkündete OpenAI in einem Blogartikel die Gründung eines neuen Teams, das Mittel und Wege entwickeln soll, eine solche Super-KI zu kontrollieren. Geleitet wird das neue Team von Ilya Sutskever, dem Chief Scientist von OpenAI und von Jan Leike. Die Forschungsfrage, die das neu geschaffene Team bearbeiten soll, lautet: „Wie stellen wir sicher, dass KI-Systeme, die viel intelligenter sind als Menschen, menschlichen Absichten folgen?“

OpenAI geht davon aus, dass die derzeitigen Kontrollmittel nicht dauerhaft genügen, um eine immer leistungsfähigere KI zu „beaufsichtigen“. Es brauche deshalb mehr Forschung und Technik in diesem Bereich, so OpenAI. Konkret will OpenAI 20 Prozent seiner der Rechenleistung diesem Zweck widmen. Innerhalb von vier Jahren will OpenAI dann das Projekt „Superintelligence Alignment“ abschließen.

Eigene Aufpasser-KI soll trainiert werden

Konkret will das Team eine eigene KI schaffen, die es „Human-level Automated Alignment Researcher“ nennt – also eine Art Aufpasser-KI. Sie soll Justierungen an KI-Systemen vornehmen können, damit diese auch in Zukunft im Sinne der Menschheit handelt.

„Wenn wir diesbezüglich Fortschritte machen, können unsere KI-Systeme immer mehr unserer Justierungsarbeit übernehmen und letztendlich bessere Justierungstechniken ausarbeiten, implementieren, studieren und entwickeln, als wir es jetzt haben“, schrieben Leike und weitere OpenAI-Forscher im August 2022 in einem Blogartikel.

Enge Zusammenarbeit mit menschlichen Wissenschaftlern

Die neuen KI-Forschungssysteme würden dann „mit Menschen zusammenarbeiten, um sicherzustellen, dass ihre eigenen Nachfolger stärker auf Menschen ausgerichtet sind“, so Lemke und seine Kollegen. Menschliche Wissenschaftler:innen würden ihre Bemühungen in Zukunft stattdessen stärker auf die Überprüfung der von KI-Systemen durchgeführten Forschung konzentrieren, anstatt diese Forschung selbst zu generieren.

Deine ungelesenen Artikel:
16.11.2026

Emmi-Gründer Dennis Just: „Geld ist nicht das Problem, sondern die Qualität der Teams und Unternehmen“

Ein halbes Jahr nach dem Mega-Exit an Mistral ist Emmi AI Geschichte und Co-Founder Dennis Just als Mistrals Vice President Manufacturing für ein stark wachsendes Team am Standort Linz mitverantwortlich. Wir trafen Just am Rande der invest.austria conference zum Interview über die Umstellung nach dem Exit und über eine kantige These zum heimischen Startup-Ökosystem.
/artikel/emmi-gruender-dennis-just-geld-ist-nicht-das-problem-sondern-die-qualitaet-der-teams-und-unternehmen
16.11.2026

Emmi-Gründer Dennis Just: „Geld ist nicht das Problem, sondern die Qualität der Teams und Unternehmen“

Ein halbes Jahr nach dem Mega-Exit an Mistral ist Emmi AI Geschichte und Co-Founder Dennis Just als Mistrals Vice President Manufacturing für ein stark wachsendes Team am Standort Linz mitverantwortlich. Wir trafen Just am Rande der invest.austria conference zum Interview über die Umstellung nach dem Exit und über eine kantige These zum heimischen Startup-Ökosystem.
/artikel/emmi-gruender-dennis-just-geld-ist-nicht-das-problem-sondern-die-qualitaet-der-teams-und-unternehmen
Dennis Just | (c) brutkasten / Dominik Perlaki
Dennis Just | (c) brutkasten / Dominik Perlaki

Es war eine der größten News des Jahres im heimischen Startup-Ökosystem: Im Mai verkündete das auf Physics AI spezialisierte Linzer KI-Startup Emmi AI seinen Exit im dreistelligen Millionenbereich an den französischen KI-Riesen Mistral.

Schon damals lud brutkasten Co-Founder Dennis Just zum Interview. Rund ein halbes Jahr später trafen wir ihn, mittlerweile Vice President Manufacturing des Pariser Decacorns, im Rahmen der invest.austria conference in Wien erneut. Er erzählte uns über die (persönliche) Umstellung nach dem Exit und teilte eine durchaus provokante These, woran es im österreichischen Startup-Ökosystem tatsächlich mangle.


brutkasten: Wir haben vor ein paar Monaten über den Exit berichtet, du warst damals auch im Video-Interview bei uns im Studio. Was ist seitdem passiert?

Dennis Just: Viel. Emmi AI gibt es so nicht mehr, die Firma ist in Mistral aufgegangen. Wir haben aber immer noch einen wachsenden Standort in Linz, vor allem mit Fokus auf Physics AI und Physical AI – also alles, was Engineering und Robotics angeht. Wir skalieren dort weiter, haben aber natürlich jetzt innerhalb eines großen Unternehmens eine andere Aufgabe übernommen. Wir haben das Team quasi in zwei Teile geteilt, die immer noch sehr, sehr eng verbunden sind, aber unterschiedliche Themen innerhalb von Mistral bedienen.

Das eine ist der Research- und Science-Teil, den Johannes [Anm. Brandstetter, Emmi-Co-Founder] leitet. Das heißt, wir sind innerhalb von Mistral verantwortlich für das Thema Physik und Agentic Engineering – also alles, wo es um Orchestrierung etc. innerhalb von klassischem Research and Development geht.

Das zweite Vertical, das wir übernommen haben bzw. aufbauen, ist das Thema Industriekunden. Dazu zählen alle großen Kunden von Mistral, die nicht im Finance-Bereich und nicht im Government-Sektor sind. ASML war ja ein großes Announcement. Airbus und Samsung jetzt mit der Investmentrunde sind weitere Beispiele. Wir sind sozusagen verantwortlich für alles, was Presales und Post-Sales ist: Scoping, am Ende die Delivery von den Produkten und der Technologie, Integration in die Workflows, Orchestrierung.

Und wie war es auf persönlicher Ebene?

Für uns hat sich weniger verändert, was wir tun – wir haben dieselben Sachen vorher schon gemacht. Was sich klar unterschiedlich anfühlt, ist die Verantwortung, die man innerhalb von einem großen Ganzen trägt. Wir waren zwar in die Finanzierungsrunde von Mistral eingebunden, die jetzt stattgefunden hat, aber man führt sie halt nicht mehr selbst, was sich schon anders anfühlt. Wir sind im Leadership, aber wir sind nicht mehr in der Geschäftsführung. Das braucht persönlich ein bisschen Verarbeitungszeit, um damit klarzukommen und sich zurechtzufinden. Wir sind von einer 30- bis 35-Personen-Bude auf 800 zum Zeitpunkt der Akquise und jetzt gerade auf 1.500 Leute gewachsen. Wir wachsen um 200 Mitarbeiter im Monat. Diese Beschleunigung, die man da mitnimmt, ist einfach noch mal eine ganz andere.

Du hast bereits eine Karriere als Serial-Entrepreneur hinter dir, hast mehrere erfolgreiche Unternehmen gegründet, zuletzt eben Emmi. Jetzt bist du Vice President bei Mistral. Ist das das, was du auf Dauer machen willst, oder willst du irgendwann wieder ein eigenes Unternehmen gründen?

Die ehrliche Antwort ist: Es ist schon in irgendeiner Art und Weise komisch. Du bist halt nicht mehr in voller Kontrolle deines eigenen Inputs. Wenn du selbst spielst und verlierst, ist es okay, weil du weißt, dass du dafür verantwortlich bist. Aber hier bist du nicht mehr in voller Kontrolle. Gleichzeitig glaube ich – und wir drei Gründer haben denselben Gedanken –, dass die Reise für uns noch nicht zu Ende ist. Die Reise ist aus unserer Sicht erst zu Ende, wenn wir einen vernünftigen globalen Exit schaffen – und das kann eine Transaktion oder ein IPO mit dem Thema sein, das wir bedienen. Persönlich werde ich, glaube ich, nicht aufhören, Unternehmen zu gründen. Gleichzeitig werde ich nicht nächste Woche anfangen, ein neues Unternehmen zu gründen, denn dafür ist der Zug, auf dem wir gerade sitzen, und die Opportunität einfach zu groß.

Du hast in deiner Keynote hier auf der invest.austria conference einige außergewöhnliche Dinge gesagt. Auch hier wird das altbekannte Thema diskutiert: Wie schaffen wir es, dass in Österreich mehr Tech-Unternehmen skalieren? Du hast gesagt, das Problem siehst du gar nicht primär beim Kapital, sondern bei den Entrepreneurinnen und Entrepreneuren. Kannst du das noch einmal erläutern?

Super gerne. Das basiert natürlich sehr stark auf unserer eigenen Erfahrung als Serial Entrepreneure mit guten Kontakten – um das auch einzuordnen. Wir haben in Europa aus meiner Sicht für gute Ideen, gute Teams und gute Unternehmen kein Problem beim Kapital. Klar, wenn man auf eine Größe wie Mistral blickt, wo es um Milliarden-Fundings geht, sollte man vielleicht etwas tun. Aber im Bereich bis zu dreistelligen Millionensummen haben wir in Europa genug Vehikel, die guten Unternehmen und guten Teams Funding geben, je nachdem, in welcher Phase man ist.

Was wir in Österreich aus meiner Sicht aber nicht haben, sind gute Teams und gute Unternehmen in der Anzahl, in der wir sie bräuchten. Klar hast du die fonios, die Bitpandas, die Dynatraces dieser Welt, und es gibt immer mal ein paar Leuchttürme. Aber die Basis, von der aus wir arbeiten, ist sehr dünn. Meine Hypothese ist, dass Geld nicht das Problem ist, sondern die Qualität der Teams und der Unternehmen, in die das Geld fließt.

Wenn du ein gutes Team hast, ist es dir als opportunistischer Unternehmer auch egal, wo das Geld herkommt. Idealerweise kommt ein großer Teil aus dem lokalen Markt, aber es muss nicht zwingend so sein. In vielen Fällen ist es sogar gut, wenn es von außerhalb kommt, weil man das nutzen will, um international zu expandieren oder strategische Partnerschaften einzugehen.

Woran es aus meiner Sicht hakt, lässt sich mit den richtigen Incentives auf allen Seiten umschreiben. Wir haben gute Forschung, wir haben exzellente Techniker – schau dir Peter Steinberger bei OpenAI an, oder was Sepp Hochreiter an der JKU macht. Aber es gibt zu wenig Anreize, eigene Unternehmen zu gründen, es zu wagen und etwas aufzubauen. Es gibt verschiedene Wege, das auf mehreren Ebenen zu lösen, angefangen dabei, Professoren zu incentivieren. Das ist an der ETH Zürich übrigens Standard, dass eine gewisse Anzahl an Spinoffs hervorgebracht werden muss, um Momentum zu erzeugen. Ich glaube nicht, dass es an Acceleratoren scheitert, sondern wirklich an fundamentalen Anreizen und an Experten, die dabei helfen, das Ganze zu ermöglichen.

Das ist natürlich etwas, was Teil einer Spinoff-Strategie sein könnte, an der ja auch immer wieder gearbeitet wird… Auf einer Konferenz wie dieser ist generell die Frage, was die Politik machen kann, ein großes Thema. Wenn ich dir zuhöre, klingt dein Befund nicht unbedingt nach etwas, wo man sofort einen Hebel der Politik ansetzen kann. Siehst du trotzdem Dinge, die die Politik beitragen könnte?

Wo die Politik am meisten helfen kann, ist, die richtigen Anreize und Freiheiten auf universitärer Ebene zu setzen, weil die Universitäten am Ende von der Politik gesteuert werden. Der private Markt hingegen reguliert sich selbst. Es ist zwar schön, dass wir einen 500-Millionen-Dachfonds haben, aber die Frage bleibt: Wo soll der investieren? Du hast die Invest AG, dann zwei größere VCs und vielleicht drei, vier kleinere. Die haben kein Geldproblem, die haben eher ein Return-Problem. Ich würde den größten Hebel darin sehen, die Infrastruktur und die Anreize zu schaffen, statt mit Muskelkraft hineinzugehen. Man muss den Rahmen setzen – der Rest passiert dann ganz von alleine.

Du sprichst von Spinoffs. Bitpanda war Österreichs erstes Unicorn und ist kein Spinoff. Wenn man sich weltweit umsieht, sind auch längst nicht alle erfolgreichen Tech-Unternehmen als Spinoff gestartet. Was könnte man abseits des universitären Bereichs tun, um das Unternehmertum zu fördern? In den USA funktioniert es ja auch bei Nicht-Spinoffs deutlich besser…

Absolut. Für mich ist das Thema Spinoff ein Ankerpunkt, der sehr greifbar und verständlich ist, deshalb nutzt man ihn gerne als Beispiel. Am Ende muss sich die Kultur ändern. Alle jüngeren Unternehmen, die groß geworden sind – und dann wie GoStudent vielleicht auch wieder kleiner –, kommen aus einer Bildungsschicht, die weiß, wie man Software oder Machine-Learning-Modelle baut. Ich würde grundsätzlich immer in der Phase Ende Schule / Anfang Studium ansetzen, weil das die Phase ist, in der man am stärksten geprägt wird.

Man muss irgendwo anfangen: Wenn man in einem Bereich spezielles Know-how hat und die richtigen Anreize setzt, entstehen automatisch Unternehmen, die an der Weltspitze stehen, die automatisch Funding anziehen und Wert schaffen. Ich würde klar definieren, in welchen Bereichen man Weltspitze sein will, und forschungsseitig gezielt dorthin investieren. Das steht im Moment konträr zur aktuellen Hochschulfinanzierungsthematik, die in der Szene sehr kritisch gesehen wird und eigentlich das falsche Signal setzt.

Was sich im Kern ändern muss, ist aber auch die Kultur – und Kultur ändert sich am langsamsten. Da fehlen mir auch die Patentrezepte, wie man am besten ansetzt. Aber Kultur ändert sich am besten über Gewohnheiten, und Gewohnheiten entstehen durch sichtbare Erfolge.

Daran möchte ich meine letzte Frage anschließen: Du hast in deiner Keynote erwähnt, dass du deine Laufbahn im E-Sport begonnen hast und dort gelernt hast, immer den ersten Platz belegen zu wollen. Kann man dieses Mindset aufbauen? Oder hat man das einfach oder eben nicht?

Gefühlt bekommt man das schon früh in der Erziehung mit. Ich weiß nicht, ob man Ambition oder einen solchen Anspruch künstlich erzeugen kann, aber es ist definitiv etwas Kulturelles. Wenn du Eltern hast, die selbst unternehmerisch tätig waren, wirst du viel eher in diese Richtung geprägt. Es geht um ein kompetitives Verhalten – das im Übrigen auch nicht immer gesund ist, das will ich gar nicht schönreden –, aber man muss irgendwo anfangen. Die Eier und die Ambition zu haben, sich das Ziel ganz nach oben zu setzen und eben nicht nur mitschwimmen zu wollen, ist übrigens nichts, was die Politik verordnen sollte. Die Politik incentiviert aber ohnehin eher das Mitschwimmen.

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Der Inhalt des Artikels diskutiert die potenzielle Gefahr einer Superintelligenten KI und die Bemühungen von OpenAI, Wege zu finden, um diese zu kontrollieren und sicherzustellen, dass sie den Absichten der Menschheit folgt. Das hat verschiedene gesellschaftspolitische Auswirkungen: 1. Bewusstsein für mögliche Risiken: Die Diskussion über Superintelligente KI und ihre potenzielle Bedrohung für die Menschheit sensibilisiert die Öffentlichkeit und Entscheidungsträger für die möglichen negativen Auswirkungen dieser Technologie. 2. Regulierung und Kontrolle: Die Bemühungen von OpenAI, eine eigene KI zu entwickeln, um die Kontrolle über eine Superintelligente KI sicherzustellen, könnten zu einer verstärkten Regulierung und Kontrolle von KI-Systemen führen. Dies könnte Auswirkungen auf die Entwicklung und Implementierung von KI in verschiedenen Bereichen der Gesellschaft haben. 3. Ethik und Verantwortung: Die Diskussion über die Kontrolle von Superintelligenter KI wirft auch Fragen der Ethik und Verantwortung auf. Es stellt sich die Frage, wer für die Handlungen und Entscheidungen von KI-Systemen verantwortlich ist und wie ethische Prinzipien in die Entwicklung und Nutzung dieser Technologie integriert werden können. 4. Zusammenarbeit zwischen Mensch und Maschine: OpenAI betont die enge Zusammenarbeit zwischen KI-Systemen und menschlichen Wissenschaftlern, um sicherzustellen, dass die KI-Systeme auf menschliche Werte und Absichten ausgerichtet sind. Dies deutet auf eine Veränderung der Zusammenarbeit zwischen Mensch und Maschine hin und könnte Auswirkungen auf Arbeitsstrukturen und Rollen in der Zukunft haben. Insgesamt hat der Inhalt des Artikels das Potenzial, das Bewusstsein für die Problematik von Superintelligenter KI zu schärfen und den Diskurs über Regulierung, Ethik und Zusammenarbeit zwischen Mensch und Maschine zu fördern.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Der Inhalt des Artikels hat potenziell weitreichende wirtschaftliche Auswirkungen. Die Schaffung einer Superintelligenz und die Entwicklung von Kontrollmechanismen für KI-Systeme erfordern erhebliche Investitionen in Forschung und Technologie. OpenAI plant, einen beträchtlichen Teil seiner Rechenleistung für diese Zwecke einzusetzen. Dies könnte zu einer verstärkten Nachfrage nach hochqualifizierten KI-Experten führen und die KI-Forschungs- und Entwicklungsbranche weiter antreiben. Darüber hinaus könnten Unternehmen, die erfolgreich leistungsfähige KI-Systeme entwickeln und kontrollieren können, einen Vorsprung bei der Nutzung und Vermarktung dieser Technologien haben. Insgesamt wird der Artikel eine Diskussion über die Auswirkungen und Herausforderungen von Super-KI auf die Wirtschaft auslösen.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Als Innovationsmanager:in spielt der Artikel eine relevante Rolle, da er auf die mögliche Bedrohung einer Super-KI hinweist und die Bemühungen von OpenAI, diese zu kontrollieren. Dies zeigt, dass die Entwicklung und Erforschung von KI-Systemen weiterhin von großer Bedeutung ist, aber auch potenzielle Risiken birgt. Als Innovationsmanager:in sollten Sie sich mit diesen Fortschritten sowie den Möglichkeiten und Risiken auseinandersetzen, um sicherzustellen, dass Ihre Organisation von den Vorteilen der KI profitieren kann und gleichzeitig mögliche Bedrohungen im Blick behält.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Für Investoren ist der Inhalt dieses Artikels relevant, da er auf die potenziellen Risiken und Herausforderungen hinweist, die mit der Entwicklung von Superintelligenten KI-Systemen verbunden sind. Das Engagement von OpenAI zur Kontrolle und Ausrichtung solcher Systeme unterstreicht die Bedeutung von ethischen und sicherheitsrelevanten Aspekten bei der Weiterentwicklung von KI-Technologien. Investoren sollten sich daher über die Fortschritte und Maßnahmen in diesem Bereich informieren und mögliche Auswirkungen auf Unternehmen und Branchen berücksichtigen, die in der KI-Forschung und -Entwicklung tätig sind.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Als Politiker:in ist es wichtig, auf dem aktuellen Stand der Technologieentwicklung zu sein, um politische Entscheidungen treffen zu können, die den gesellschaftlichen Fortschritt fördern und potenzielle Risiken reduzieren. Das Thema der Superintelligenz und der Kontrolle von KI-Systemen, wie in diesem Artikel erwähnt, betrifft die zukünftige Entwicklung der KI und deren potenzielle Auswirkungen auf die Menschheit. Durch die Kenntnis und das Verständnis dieser Entwicklungen können Politiker:innen politische Rahmenbedingungen schaffen, die die Sicherheit und den Nutzen von KI gewährleisten und gleichzeitig ethische Bedenken berücksichtigen.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Der Artikel beleuchtet das Thema der potenziellen Auslöschung der Menschheit durch eine Superintelligente KI und wie das Unternehmen OpenAI dieses Risiko angeht. OpenAI hat ein neues Team gegründet, um Wege zu finden, eine solche KI zu kontrollieren und sicherzustellen, dass sie den Absichten der Menschen folgt. Sie planen, eine eigene Aufpasser-KI zu entwickeln, die anpassungen an KI-Systemen vornehmen kann. Dieser Artikel verdeutlicht die wachsenden Bedenken der Tech-Industrie bezüglich der Kontrolle und Auswirkungen hochentwickelter KI-Systeme auf die Menschheit und zeigt den Einsatz von OpenAI zur Lösung dieser Herausforderungen.

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

  • Ilya Sutskever
  • Jan Leike

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

Die relevantesten Organisationen und Unternehmen in diesem Artikel sind:
  • OpenAI

Superintelligente KI: Team von OpenAI soll Auslöschung der Menschheit verhindern