14.06.2023

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

Eine neue Studie trübt die Hoffnungen, die in generative KI gesetzt werden. Durch zu viele KI-Inhalte im Internet könnten die Modelle verlernen, was hochwertiger Content ist.
/artikel/ki-modelle-koennen-sich-selbst-zerstoeren
Am Beispiel von blauen Katzen lässt sich erklären, wie KI-Modelle versagen. Bild: Unsplash/Rémi Rémino

Obwohl die Tech-Welt seit Jahren vor KI warnt, sind ihre Fähigkeiten erst letztes Jahr in den Fokus einer breiteren Öffentlichkeit gerückt: Generative KI ermöglicht es, mit wenigen Klicks kreative KI-Leistungen schnell verfügbar zu machen. Konkret heißt das: KI-Chatbots wie ChatGPT forumlieren auf Befehl eloquente Texte, können programmieren und verschiedene sprachliche Tasks im Nu erledigen. Bilderzeugungs-Tools wie Stable Diffusion oder Midjourney erzeugen auf Knopfdruck fotorealisitische Bilder.

Studie warnt vor Qualitätsverlust

Viele Unternehmen haben es plötzlich sehr eilig: Schnellstmöglich wollen sie KI-Lösungen in ihre Produkte implementieren, wie jüngst Mark Zuckerberg für Meta verkündete. Die Hoffnungen und Erwartungen, die in KI-Modelle gesetzt werden, sind riesig.

Die Studie eines britisch-kanadischen Forscherteams, die vor kurzem im Open-Access-Journal arXiv erschienen ist, könnte den KI-Hype jedoch etwas trüben. Sie kommt zu dem Ergebnis, dass KI-Modelle nachhaltig geschädigt werden können, wenn sie mit KI-generierten Inhalten trainieren. Denn laut den Studienautor:innen, seien die KI-Modelle derzeit vor allem deshalb so stark, weil sie mit menschengemachten Inhalten trainiert sind.

Internet als KI-Mülldeponie

„Wir waren überrascht zu sehen, wie schnell ein Modell wieder zusammenbricht. Die Modelle können die meisten Originaldaten, aus denen sie ursprünglich gelernt haben, schnell vergessen“, meinte der am Projekt beteiligte Forscher Ilia Shumailov gegenüber VentureBeat. In einem Blog-Artikel warnt Ross Anderson, ein weiterer beiteiligter Forscher: „So wie wir die Ozeane mit Plastik vermüllt und die Atmosphäre mit Kohlendioxid gefüllt haben, sind wir nun dabei, das Internet mit Blabla zu füllen. Dadurch wird es schwieriger, neuere Modelle durch Webscraping zu trainieren“.

Das Problem: Je mehr KI-Inhalte im Internet kursieren, desto weniger seien menschliche Inhalte für die KI-Modelle zum Lernen verfügbar. Anderson zufolge hätten Unternehmen, die das Internet bereits gescraped haben, bzw. die den Zugang zu menschengemachten Inhalten kontrollierten, nun immense Vorteile: „Wir sehen bereits jetzt, dass KI-Startups das Internet Archive nach historischen Daten durchsuchen“. Denn bereits jetzt sei das Netz bereits mit KI-generiertem „Müll“ kontaminiert.

Problem mit blauen Katzen

Shumailov skizziert das Problem gegenüber VentureBeat folgendermaßen: Menschengemachte Dokumente, egal ob Bilder, Texte, Musik oder andere kreative Leistungen, würden die Welt umfassender beschreiben und auch unwahrscheinlichere Fälle abbilden. KI-Modelle hingegen wählen Daten nach Wahrscheinlichkeitskriterien aus: Werden bestimmte Daten häufiger vorgefunden als andere, werden die unwahrscheinlicheren eher verworfen.

Gut zu beschreiben sei dies anhand eines Datensets aus Katzenbildern. Wird ein KI-Modell mit Bildern von 10 blauen Katzen und 90 gelben Katzen trainiert, erkennt die KI, dass gelbe Katzen mit höherer Wahrscheinlichkeit „richtig“ sind. In der Folge produziert die KI selbst grünstichige Katzenbilder, wenn sie Katzen mit blauem Fell darstellen soll. Im Laufe der Zeit produziere sie überhaupt keine blauen Katzen mehr, sondern nur mehr gelbe.

Das Beispiel zeige laut Shumailov, dass die KI-Modelle Probleme mit unwahrscheinlicheren Daten hätten. Im Laufe der Zeit würden die Modelle somit versagen, meint der Forscher. Darüber hinaus entstünden dadurch zahlreiche Probleme, etwa Diskriminierung aufgrund bestimmter Minderheiten-Eigenschaften.

Deine ungelesenen Artikel:
vor 24 Stunden

KI-Rede: Pröll schlägt Europäische Gemeinschaft für Rechenleistung vor

Digitalisierungsstaatssekretär Alexander Pröll hat am Donnerstagabend in der Österreichischen Nationalbibliothek die österreichische Agenda für Künstliche Intelligenz vorgelegt. Neu sind unter anderem die Vorschläge für eine Europäische Gemeinschaft für Rechenleistung und ein Staatsziel in der Verfassung, vieles andere war bereits bekannt. brutkasten war vor Ort.
/artikel/proell-ki-rede-kipppunkt
vor 24 Stunden

KI-Rede: Pröll schlägt Europäische Gemeinschaft für Rechenleistung vor

Digitalisierungsstaatssekretär Alexander Pröll hat am Donnerstagabend in der Österreichischen Nationalbibliothek die österreichische Agenda für Künstliche Intelligenz vorgelegt. Neu sind unter anderem die Vorschläge für eine Europäische Gemeinschaft für Rechenleistung und ein Staatsziel in der Verfassung, vieles andere war bereits bekannt. brutkasten war vor Ort.
/artikel/proell-ki-rede-kipppunkt
Digitalisierungsstaatssekretär Alexander Pröll bei seiner KI-Grundsatzrede „Kipppunkt“ im Prunksaal der Österreichischen Nationalbibliothek. | © brutkasten/Martin Pacher
Digitalisierungsstaatssekretär Alexander Pröll bei seiner KI-Grundsatzrede „Kipppunkt“ im Prunksaal der Österreichischen Nationalbibliothek. | © brutkasten/Martin Pacher

„Macht euch die Erde untertan.“ Mit diesem Vers aus der Genesis eröffnete Digitalisierungsstaatssekretär Alexander Pröll (ÖVP) am Donnerstagabend seine Grundsatzrede zur Künstlichen Intelligenz. Seine Lesart: Der Mensch sei seiner Welt nicht ausgeliefert, er könne sie gestalten und trage dafür Verantwortung. Der Rahmen war für den Auftritt eines Staatssekretärs außergewöhnlich: der Prunksaal der Österreichischen Nationalbibliothek, Marmorstatuen, meterhohe Bücherwände und auf der LED-Wand hinter dem Redner zeitweise Leonardo da Vincis vitruvianischer Mensch. Rund 45 Minuten sprach Pröll unter dem Titel „Kipppunkt“.

Im Publikum saßen Bundeskanzler Christian Stocker, Wirtschaftsminister Wolfgang Hattmannsdorfer und zahlreiche Vertreter:innen der Wirtschaft. Auch Ex-Bundeskanzler Sebastian Kurz war gekommen, Co-Founder des Cybersecurity-Unicorns Dream. Die Rede war seit Längerem angekündigt, die Einladungen dazu kamen schriftlich per Post.

Inhaltlich war der Abend ein Mix aus bereits bekannten Vorhaben und neuen Ankündigungen. Die vorgelegte Agenda umfasst 15 Handlungsfelder und folgt drei Fragen: Wie bleibt Österreich handlungsfähig, wohlhabend und menschlich? Eine fertige Strategie ist sie noch nicht. Ab sofort kann die Bevölkerung die Vorschläge auf kipppunkt.gv.at bewerten und kommentieren, im Frühjahr 2027 werden die Rückmeldungen ausgewertet, im ersten Halbjahr 2027 soll die koordinierte KI-Strategie stehen. Pröll nannte das „eine gesamtgesellschaftliche Begutachtungsphase“. Dass die Strategie aus dem Jahr 2021 überarbeitet wird, hatte er zuletzt beim Technology Impact Summit in Graz bekräftigt (brutkasten berichtete).

Neu: Rechenleistung, Physical AI, Staatsziel

Neu ist vor allem ein Vorschlag zur Infrastruktur. Pröll schlug eine Europäische Gemeinschaft für Rechenleistung (EGR) vor, in der Staaten einen Teil ihrer Rechenkapazitäten miteinander verbinden, gemeinsam investieren und sich gegenseitig absichern. Er zog die Parallele zu den Anfängen der europäischen Einigung: „Aus Kohle und Stahl entstand eine Gemeinschaft.“ Europa müsse nicht jede Technologie selbst herstellen, aber „entscheiden können, auf welcher Infrastruktur seine Zukunft läuft“. Laut Bundeskanzleramt sind dafür keine Parallelstrukturen geplant, als Basis dienen bestehende EU-Strukturen und Finanzierungsinstrumente. Österreich wolle nun Partner auf europäischer Ebene gewinnen, sagte Pröll.

Für Österreich selbst skizzierte er Rechenzentren nach dem Motto „klein, grün, dezentral“. Gemeint sind mehrere regional verteilte Standorte, die wie ein virtuelles Rechenzentrum zusammenarbeiten, mit erneuerbarer Energie laufen und deren Abwärme etwa die Schule nebenan heizt.

Neu ist auch eine österreichische Mission für Physical AI. Österreich werde nicht das nächste Silicon Valley kopieren, sagte Pröll. Die Stärken lägen in Industrie, Maschinenbau, Automatisierung, Mobilität und Energie. Forschung, Industrie und Mittelstand sollen gemeinsam die nächste Generation intelligenter Maschinen entwickeln. Dazu kommen 1.000 zusätzliche KI-Workshops und je eine Dialogveranstaltung in allen neun Bundesländern. Außerdem will Pröll den Grundsatz „Technologischer Fortschritt muss dem Menschen dienen“ als Staatsziel in der Bundesverfassung verankern.

Bekannt: TikTok, UNO-Zentrum, Social-Media-Verbot

Andere Punkte waren schon vor der Rede öffentlich. Die Initiative, TikTok Europa in europäische Hände zu bringen, hatten Österreich und Deutschland am Tag davor gestartet. Pröll begründete sie mit dem Einfluss der Plattform auf die digitale Öffentlichkeit, mit dem Abfluss europäischer Daten und der Verdrängung klassischer Medien. Welche Lösung am Ende steht, lässt die Agenda offen: Beschränkungen sind ebenso denkbar wie eine europäische Eigentums- oder Übernahmelösung.

Auch das internationale KI-Zentrum unter dem Dach der Vereinten Nationen (UNO) in Wien, ein Vorschlag von Bundeskanzler Stocker, liegt seit Ende Oktober auf dem Tisch (brutkasten berichtete). Ebenfalls nicht neu ist das Social-Media-Verbot für Kinder und Jugendliche, für das sich die Regierung mittlerweile auf europäischer Ebene einsetzt. Pröll ging hier einen Schritt weiter: Die Volksschule solle ein digitalisierungsfreier Raum sein, ohne Smartphone, Laptop und iPad.

EU Inc.: Österreich unterstützt europäische Rechtsform

Auch eine für die Startup-Szene wichtige Forderung griff Pröll auf. Ein junges Technologieunternehmen, das über Österreich hinauswachsen wolle, müsse sich heute mit unterschiedlichen nationalen Gesellschaftsrechten und bürokratischen Anforderungen auseinandersetzen. „Das müssen wir ändern“, sagte Pröll. Österreich unterstütze die EU Inc. und wolle selbst digitaler werden, mit digitalen Verfahren, weniger nationalen Regelungen und schnellen Wegen für Gründer:innen, Talente und Investitionen. Um den Entwurf der Europäischen Kommission wird derzeit allerdings gerungen, erst am Donnerstag forderten Startup-Verbände, ihn zurückzuziehen und neu vorzulegen (brutkasten berichtete).

Zu Kosten und Finanzierung der Vorhaben nannte Pröll in seiner Rede keine Zahlen. Gegen Ende fasste er seinen Anspruch so zusammen: „Der Mensch bleibt der Zweck. Die KI bleibt das Mittel.“

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Der Inhalt der Studie zeigt, dass KI-Modelle durch den von ihnen generierten „Müll“ selbst zerstört werden können und dass Unternehmen, die den Zugang zu menschgemachten Inhalten kontrollieren, dadurch einen Vorteil haben. Diese Erkenntnisse könnten Auswirkungen darauf haben, wie KI-Modelle trainiert werden und wer Zugang zu menschgemachten Inhalten hat, was wiederum Auswirkungen auf Wettbewerb und Diskriminierung haben könnte. Außerdem wird deutlich, dass die Vorstellung, KI könne alle Aufgaben besser lösen als Menschen, kritisch hinterfragt werden muss.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Die Studie eines britisch-kanadischen Forscherteams, die vor kurzem im Open-Access-Journal arXiv erschienen ist, hat gezeigt, dass KI-Modelle nachhaltig geschädigt werden können, wenn sie mit KI-generierten Inhalten trainieren. Dies könnte Unternehmen, die schnell KI-Lösungen in ihre Produkte integrieren wollen, vor große Herausforderungen stellen. Das Problem besteht darin, dass je mehr KI-Inhalte im Internet verfügbar sind, desto weniger menschengemachte Inhalte für die KI-Modelle zum Lernen vorhanden sind. Unternehmen, die bereits den Zugang zu menschengemachten Inhalten kontrollieren, würden einen immensen Vorteil genießen.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Dieser Artikel warnt Innovationsmanager:innen vor den Risiken beim Einsatz von KI-Modellen in ihren Produkten und Dienstleistungen. Eine Studie zeigt, dass KI-Modelle langfristig beschädigt werden können, wenn sie mit KI-generierten Inhalten trainiert werden, da die Modelle menschengemachte Inhalte benötigen, um weiter zu lernen. Dies kann dazu führen, dass KI-Modelle versagen und nicht mehr in der Lage sind, spezifische Daten oder Zusammenhänge richtig zu erkennen oder zu interpretieren. Innovationsmanager:innen sollten daher vorsichtig sein und sicherstellen, dass die KI-Modelle, die sie verwenden, menschengemachte Inhalte verwenden, um ihre Funktionsweise zu verbessern und langfristige Probleme zu vermeiden.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Als Investor:in sollten Sie aufmerksam sein, wie KI-Modelle trainiert werden und welche Auswirkungen dies auf deren Qualität und Leistung hat. Die Studie zeigt, dass KI-Modelle durch den Einfluss von KI-generiertem „Müll“ dauerhaft geschädigt werden können. Daher sollten Unternehmen, die KI-basierte Lösungen entwickeln, sicherstellen, dass sie ihre Modelle mit qualitativ hochwertigen menschengemachten Inhalten trainieren, um deren Leistung und Qualität zu sichern.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Die breite Verfügbarkeit von generativer KI hat den Hype um die Technologie verstärkt, aber eine Studie warnt nun davor, dass KI-Modelle durch ihren eigenen Müll, der in Form von KI-generierten Inhalten im Netz kursiert, nachhaltig geschädigt werden können. Die zunehmende Verbreitung von KI-generierten Inhalten führt dazu, dass die KI-Modelle weniger menschliche Inhalte für das Lernen zur Verfügung haben, und Unternehmen, die den Zugang zu menschlichem Content kontrollieren, haben daher immense Vorteile. Die Studie zeigt auch, dass die KI-Modelle Schwierigkeiten haben, unwahrscheinliche Daten abzubilden, was zu zahlreichen anderen Problemen führen kann, einschließlich Diskriminierung aufgrund von bestimmten Minderheiten-Eigenschaften.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

  • Ilia Shumailov
  • Ross Anderson
  • Mark Zuckerberg

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

  • Meta
  • Internet Archive

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören