14.06.2023

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

Eine neue Studie trübt die Hoffnungen, die in generative KI gesetzt werden. Durch zu viele KI-Inhalte im Internet könnten die Modelle verlernen, was hochwertiger Content ist.
/artikel/ki-modelle-koennen-sich-selbst-zerstoeren
Am Beispiel von blauen Katzen lässt sich erklären, wie KI-Modelle versagen. Bild: Unsplash/Rémi Rémino

Obwohl die Tech-Welt seit Jahren vor KI warnt, sind ihre Fähigkeiten erst letztes Jahr in den Fokus einer breiteren Öffentlichkeit gerückt: Generative KI ermöglicht es, mit wenigen Klicks kreative KI-Leistungen schnell verfügbar zu machen. Konkret heißt das: KI-Chatbots wie ChatGPT forumlieren auf Befehl eloquente Texte, können programmieren und verschiedene sprachliche Tasks im Nu erledigen. Bilderzeugungs-Tools wie Stable Diffusion oder Midjourney erzeugen auf Knopfdruck fotorealisitische Bilder.

Studie warnt vor Qualitätsverlust

Viele Unternehmen haben es plötzlich sehr eilig: Schnellstmöglich wollen sie KI-Lösungen in ihre Produkte implementieren, wie jüngst Mark Zuckerberg für Meta verkündete. Die Hoffnungen und Erwartungen, die in KI-Modelle gesetzt werden, sind riesig.

Die Studie eines britisch-kanadischen Forscherteams, die vor kurzem im Open-Access-Journal arXiv erschienen ist, könnte den KI-Hype jedoch etwas trüben. Sie kommt zu dem Ergebnis, dass KI-Modelle nachhaltig geschädigt werden können, wenn sie mit KI-generierten Inhalten trainieren. Denn laut den Studienautor:innen, seien die KI-Modelle derzeit vor allem deshalb so stark, weil sie mit menschengemachten Inhalten trainiert sind.

Internet als KI-Mülldeponie

„Wir waren überrascht zu sehen, wie schnell ein Modell wieder zusammenbricht. Die Modelle können die meisten Originaldaten, aus denen sie ursprünglich gelernt haben, schnell vergessen“, meinte der am Projekt beteiligte Forscher Ilia Shumailov gegenüber VentureBeat. In einem Blog-Artikel warnt Ross Anderson, ein weiterer beiteiligter Forscher: „So wie wir die Ozeane mit Plastik vermüllt und die Atmosphäre mit Kohlendioxid gefüllt haben, sind wir nun dabei, das Internet mit Blabla zu füllen. Dadurch wird es schwieriger, neuere Modelle durch Webscraping zu trainieren“.

Das Problem: Je mehr KI-Inhalte im Internet kursieren, desto weniger seien menschliche Inhalte für die KI-Modelle zum Lernen verfügbar. Anderson zufolge hätten Unternehmen, die das Internet bereits gescraped haben, bzw. die den Zugang zu menschengemachten Inhalten kontrollierten, nun immense Vorteile: „Wir sehen bereits jetzt, dass KI-Startups das Internet Archive nach historischen Daten durchsuchen“. Denn bereits jetzt sei das Netz bereits mit KI-generiertem „Müll“ kontaminiert.

Problem mit blauen Katzen

Shumailov skizziert das Problem gegenüber VentureBeat folgendermaßen: Menschengemachte Dokumente, egal ob Bilder, Texte, Musik oder andere kreative Leistungen, würden die Welt umfassender beschreiben und auch unwahrscheinlichere Fälle abbilden. KI-Modelle hingegen wählen Daten nach Wahrscheinlichkeitskriterien aus: Werden bestimmte Daten häufiger vorgefunden als andere, werden die unwahrscheinlicheren eher verworfen.

Gut zu beschreiben sei dies anhand eines Datensets aus Katzenbildern. Wird ein KI-Modell mit Bildern von 10 blauen Katzen und 90 gelben Katzen trainiert, erkennt die KI, dass gelbe Katzen mit höherer Wahrscheinlichkeit „richtig“ sind. In der Folge produziert die KI selbst grünstichige Katzenbilder, wenn sie Katzen mit blauem Fell darstellen soll. Im Laufe der Zeit produziere sie überhaupt keine blauen Katzen mehr, sondern nur mehr gelbe.

Das Beispiel zeige laut Shumailov, dass die KI-Modelle Probleme mit unwahrscheinlicheren Daten hätten. Im Laufe der Zeit würden die Modelle somit versagen, meint der Forscher. Darüber hinaus entstünden dadurch zahlreiche Probleme, etwa Diskriminierung aufgrund bestimmter Minderheiten-Eigenschaften.

Deine ungelesenen Artikel:
vor 18 Stunden

CEO European Startup Network: „Wir haben Roaming fürs Handy, aber Startups können keine Grenzen überschreiten“

Interview. Clark Parsons, CEO des European Startup Network, über EU Inc., den Wettbewerbsnachteil der europäischen Fragmentierung – und warum gerade Österreich eine Chance verschläft.
/artikel/ceo-european-startup-network-wir-haben-roaming-fuers-handy-aber-startups-koennen-keine-grenzen-ueberschreiten
vor 18 Stunden

CEO European Startup Network: „Wir haben Roaming fürs Handy, aber Startups können keine Grenzen überschreiten“

Interview. Clark Parsons, CEO des European Startup Network, über EU Inc., den Wettbewerbsnachteil der europäischen Fragmentierung – und warum gerade Österreich eine Chance verschläft.
/artikel/ceo-european-startup-network-wir-haben-roaming-fuers-handy-aber-startups-koennen-keine-grenzen-ueberschreiten
Clark Parsons, CEO des European Startup Network | (c) Parsons

Macht es richtig oder macht es gar nicht“ – Mit diesen Worten brachte EU-Inc.-Mitinitiator Andreas Klinger im Vorjahr die Frustration des Startup-Ökosystems auf den Punkt. Begonnen hatte alles im Oktober 2024 mit einer Koalition europäischer Gründer:innen und Investor:innen, deren Petition zehntausende Unterschriften sammelte. Dann kam der Auftritt von Ursula von der Leyen in Davos, im März schließlich der Vorschlag der Kommission – der schon vor seiner Präsentation geleakt wurde und die Szene enttäuschte. In einem offenen Brief warnten EU-INC, Allied for Startups und das European Startup Network vor „27 verschiedenen Geschmacksrichtungen“ der neuen Rechtsform.

In den kommenden Tagen legt das Parlament seinen Bericht vor. Clark Parsons, CEO des European Startup Network, ist seit Beginn Teil dieses Prozesses. Im Interview spricht der ehemalige Gründer und heutige Investor über die 28. Rechtsform, den Widerstand von Gewerkschaften und Notaren – und über eine Chance, die Österreich gerade verschläft.


brutkasten: Warum ist eine EU Inc. so wichtig? Warum konzentriert ihr euch nicht eher auf den Kapitalmarkt oder andere Aspekte?

Der Kapitalmarkt ist die andere Hälfte des Themas, keine Frage. Aber EU Inc. ist aus ein paar Realitäten entstanden. Wir haben in Europa keinen Binnenmarkt für Startups und keinen für Kapital. Wenn Sie ein Tech-Unternehmen gründen, haben Sie 27 Mitgliedstaaten und rund 60 verschiedene Rechtsformen. In Wien mag es genügend Investoren im Ökosystem geben. Aber sind Sie in Bukarest oder Athen, gibt es sehr wenig Kapital. Viele europäische Gründerinnen und Gründer gründen deshalb nie in ihrem Heimatland – manchmal in Estland, manchmal in London, meistens in Delaware. Und die Ironie ist: Selbst Gründer aus Frankreich oder Deutschland gehen nach Delaware.

Warum ausgerechnet Delaware?

Weil es zum De-facto-Standard geworden ist. Jeder kennt es, jeder versteht es, es gibt einen langen Bestand an Rechtsprechung. Wachstumskapital ist in Europa schwer zu bekommen, also gehen Sie früher oder später in die USA – und dort sagen alle Investoren: „Es wäre viel einfacher, wenn du eine Delaware Inc. hättest, in die ich investieren kann, statt deine verrückte GmbH-Struktur verstehen zu müssen.“ Manche amerikanische Investoren kommen nie nach Deutschland, weil sie sich sonst zwei Tage lang beim Notar den Vertrag vorlesen lassen müssten – ein Kabuki-Theater, das außerhalb des deutschsprachigen Raums als verrückt gilt. Also haben Leute wie Andreas Klinger gefragt: Warum schaffen wir nicht etwas, das mit Delaware konkurriert?

Das ist die Idee des 28. Regimes.

Genau. Die Draghi- und die Letta-Berichte haben beide festgestellt: Wir sind nicht wettbewerbsfähig genug, und einer der Hauptgründe ist, dass wir keinen echten Binnenmarkt haben. Wir sind zu fragmentiert, und das schadet uns massiv. Beide griffen eine Idee auf, die Brüssel seit dreißig Jahren das 28. Regime nennt: ein Rechtsrahmen, der europaweit gilt. Sie registrieren einmal, es gibt ein Vehikel, das jeder kennt. Wir haben Roaming fürs Handy, unsere Bürger und Arbeitnehmer überqueren Grenzen problemlos – aber unsere Startups können das nicht. Das ist doch Wahnsinn.

Kritiker sagen, das sei ein Nischenthema. Nur für ein paar reiche Investoren.

Tech ist in Europa in einem Jahrzehnt von vier auf fünfzehn Prozent des BIP gewachsen. Das ist die nächste Ökonomie für Europa. Wenn Sie glauben, wir fallen hinter die USA und China zurück; wenn Sie wollen, dass alte Industrie überlebt, muss sie mit Robotik und KI modernisiert werden. Selbst wenn Ihr Hauptthema der Klimawandel ist: All das lösen Startups und Scaleups. Regierungen lösen das nicht, Gründerinnen und Gründer tun es. Sie schaffen Werte und Arbeitsplätze. Wenn Sie also nicht dafür arbeiten, dass man in Europa gründen und wachsen kann, dann beschweren Sie sich später nicht, dass Ihre Kinder keine Jobs haben. Das ist kein Nischenthema – es ist die Quelle, aus der alles fließt.

Und woran würde man messen, ob EU Inc. funktioniert?

An ziemlich einfachen KPIs. Wie viele EU Incs werden gegründet? Setzen unsere Gründer künftig eine EU Inc. auf statt einer deutschen GmbH oder einer englischen Limited? Aktuell überschreiten nur rund 18 Prozent unseres Investmentkapitals Grenzen. Und einen KPI, an den niemand denkt: Wie viele EU Incs werden von Menschen gegründet, die gar nicht in Europa sitzen? Amerikaner, Inder, Chinesen gründen in Delaware. Warum sollten sie nicht eine EU Inc. gründen – und damit sofort Zugang zu einem Markt von 450 Millionen Menschen haben? Für Beitrittskandidaten wie die Ukraine oder Montenegro, aber auch für die Schweiz, Norwegen oder das Vereinigte Königreich könnte das die Speerspitze wirtschaftlicher Integration sein.

Welche Rolle könnte Österreich dabei spielen?

Österreich hat sich lange als Westeuropas Tor nach Osteuropa verstanden. Das muss nicht verschwinden – im Gegenteil, es lässt sich mit einer EU Inc. stärken. Bislang war es vielleicht einfacher, in Wien Anwälte und Notare zu haben, die wissen, wie man am Balkan operiert. Wenn eine EU Inc. automatischen Zugang zu diesen Gründern gibt, könnt ihr euch als Tor nach Osteuropa neu erfinden. Wenn ein Wiener VC plötzlich leicht in ein Bukarester Team investieren kann, ohne einen Anwalt für 50.000 Euro zu bezahlen, der das rumänische System erklärt, dann nehmen wir enorm viel Reibung heraus. In Wien gibt es mehr Kapital als in vielen dieser Städte, direkte Flüge, juristische Kompetenz. Das ist eine echte Chance – und keine, über die man ein Märchen erzählen müsste.

Die Gewerkschaften fürchten, EU Inc. höhle Arbeitsrechte aus.

Das hat mit der Realität wenig zu tun. Es ist eine optionale Rechtsform – keine bestehende Form verschwindet. Und das Arbeitsrecht ist hier gar nicht drin: Stelle ich einen Deutschen an, gilt deutsches Arbeitsrecht, mit Kündigungsschutz und ab einer bestimmten Zahl mit Betriebsrat – immer dort, wo der Beschäftigte sitzt und arbeitet. Niemand wird betrogen. Man hatte Angst, ein Wirt in Tirol zahle dem Koch dann kein Gehalt, sondern nur Anteile. Ich dachte, es gibt einen Mindestlohn. Wenn Sie wollen, schreiben wir hinein, dass Mindestlohngesetze weiter gelten – kein Problem. Was mich wirklich verblüfft, ist der Kampf gegen Mitarbeiterbeteiligung. Karl Marx wollte, dass die Arbeiter die Produktionsmittel besitzen – und wir müssen hart darum kämpfen, die Beschäftigten zu bereichern.

Und die Notare, die auf Rechtssicherheit pochen?

Viele Mitgliedstaaten kommen ohne Notare im Prozess bestens zurecht. Niemand behauptet, estnischen Startups fehle Rechtssicherheit, obwohl man dort in zehn Minuten online gründet. Wir schaffen ja Kontrollen nicht ab – Artikel 14 erlaubt die Prüfung durch ein Gericht, eine zuständige Behörde oder einen Notar. Wir streichen nur den verpflichtenden Kanal, nicht die Kontrolle. Dass rigorose KYC- und Geldwäscheprüfungen online funktionieren, hat Wien mit Bitpanda längst gezeigt.

Gibt es einen Anreiz, die Notare an Bord zu holen?

Absolut. Staaten können Prüffunktionen delegieren – für den TÜV gehe ich zur DEKRA, nicht zur Stadt. Wenn österreichische oder deutsche Notare zu ihren Regierungen gingen und sagten: „Macht uns zum Teil dieser Zertifizierung innerhalb von zwei Werktagen“ – man würde sie mit offenen Armen empfangen. Sie könnten eine großartige Cottage-Industrie aufbauen, die Brücke zum Bankkonto oder zur Steuernummer sein. Ein österreichischer Notar könnte nach Dubai fliegen und sagen: „Gründet eine EU Inc., kommt nach Österreich, wir machen den One-Stop-Shop.“ Sonst übernehmen Stripe Atlas, Qonto und die Neobanks das Geschäft. Ich habe bloß noch keine einzige Idee der Notare gesehen, wie sie Teil der Lösung sein wollen. Sie sollten, ich wage es zu sagen, ein bisschen wie Startups denken.

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Der Inhalt der Studie zeigt, dass KI-Modelle durch den von ihnen generierten „Müll“ selbst zerstört werden können und dass Unternehmen, die den Zugang zu menschgemachten Inhalten kontrollieren, dadurch einen Vorteil haben. Diese Erkenntnisse könnten Auswirkungen darauf haben, wie KI-Modelle trainiert werden und wer Zugang zu menschgemachten Inhalten hat, was wiederum Auswirkungen auf Wettbewerb und Diskriminierung haben könnte. Außerdem wird deutlich, dass die Vorstellung, KI könne alle Aufgaben besser lösen als Menschen, kritisch hinterfragt werden muss.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Die Studie eines britisch-kanadischen Forscherteams, die vor kurzem im Open-Access-Journal arXiv erschienen ist, hat gezeigt, dass KI-Modelle nachhaltig geschädigt werden können, wenn sie mit KI-generierten Inhalten trainieren. Dies könnte Unternehmen, die schnell KI-Lösungen in ihre Produkte integrieren wollen, vor große Herausforderungen stellen. Das Problem besteht darin, dass je mehr KI-Inhalte im Internet verfügbar sind, desto weniger menschengemachte Inhalte für die KI-Modelle zum Lernen vorhanden sind. Unternehmen, die bereits den Zugang zu menschengemachten Inhalten kontrollieren, würden einen immensen Vorteil genießen.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Dieser Artikel warnt Innovationsmanager:innen vor den Risiken beim Einsatz von KI-Modellen in ihren Produkten und Dienstleistungen. Eine Studie zeigt, dass KI-Modelle langfristig beschädigt werden können, wenn sie mit KI-generierten Inhalten trainiert werden, da die Modelle menschengemachte Inhalte benötigen, um weiter zu lernen. Dies kann dazu führen, dass KI-Modelle versagen und nicht mehr in der Lage sind, spezifische Daten oder Zusammenhänge richtig zu erkennen oder zu interpretieren. Innovationsmanager:innen sollten daher vorsichtig sein und sicherstellen, dass die KI-Modelle, die sie verwenden, menschengemachte Inhalte verwenden, um ihre Funktionsweise zu verbessern und langfristige Probleme zu vermeiden.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Als Investor:in sollten Sie aufmerksam sein, wie KI-Modelle trainiert werden und welche Auswirkungen dies auf deren Qualität und Leistung hat. Die Studie zeigt, dass KI-Modelle durch den Einfluss von KI-generiertem „Müll“ dauerhaft geschädigt werden können. Daher sollten Unternehmen, die KI-basierte Lösungen entwickeln, sicherstellen, dass sie ihre Modelle mit qualitativ hochwertigen menschengemachten Inhalten trainieren, um deren Leistung und Qualität zu sichern.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Die breite Verfügbarkeit von generativer KI hat den Hype um die Technologie verstärkt, aber eine Studie warnt nun davor, dass KI-Modelle durch ihren eigenen Müll, der in Form von KI-generierten Inhalten im Netz kursiert, nachhaltig geschädigt werden können. Die zunehmende Verbreitung von KI-generierten Inhalten führt dazu, dass die KI-Modelle weniger menschliche Inhalte für das Lernen zur Verfügung haben, und Unternehmen, die den Zugang zu menschlichem Content kontrollieren, haben daher immense Vorteile. Die Studie zeigt auch, dass die KI-Modelle Schwierigkeiten haben, unwahrscheinliche Daten abzubilden, was zu zahlreichen anderen Problemen führen kann, einschließlich Diskriminierung aufgrund von bestimmten Minderheiten-Eigenschaften.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

  • Ilia Shumailov
  • Ross Anderson
  • Mark Zuckerberg

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

  • Meta
  • Internet Archive

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören