14.06.2023

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

Eine neue Studie trübt die Hoffnungen, die in generative KI gesetzt werden. Durch zu viele KI-Inhalte im Internet könnten die Modelle verlernen, was hochwertiger Content ist.
/artikel/ki-modelle-koennen-sich-selbst-zerstoeren
Am Beispiel von blauen Katzen lässt sich erklären, wie KI-Modelle versagen. Bild: Unsplash/Rémi Rémino

Obwohl die Tech-Welt seit Jahren vor KI warnt, sind ihre Fähigkeiten erst letztes Jahr in den Fokus einer breiteren Öffentlichkeit gerückt: Generative KI ermöglicht es, mit wenigen Klicks kreative KI-Leistungen schnell verfügbar zu machen. Konkret heißt das: KI-Chatbots wie ChatGPT forumlieren auf Befehl eloquente Texte, können programmieren und verschiedene sprachliche Tasks im Nu erledigen. Bilderzeugungs-Tools wie Stable Diffusion oder Midjourney erzeugen auf Knopfdruck fotorealisitische Bilder.

Studie warnt vor Qualitätsverlust

Viele Unternehmen haben es plötzlich sehr eilig: Schnellstmöglich wollen sie KI-Lösungen in ihre Produkte implementieren, wie jüngst Mark Zuckerberg für Meta verkündete. Die Hoffnungen und Erwartungen, die in KI-Modelle gesetzt werden, sind riesig.

Die Studie eines britisch-kanadischen Forscherteams, die vor kurzem im Open-Access-Journal arXiv erschienen ist, könnte den KI-Hype jedoch etwas trüben. Sie kommt zu dem Ergebnis, dass KI-Modelle nachhaltig geschädigt werden können, wenn sie mit KI-generierten Inhalten trainieren. Denn laut den Studienautor:innen, seien die KI-Modelle derzeit vor allem deshalb so stark, weil sie mit menschengemachten Inhalten trainiert sind.

Internet als KI-Mülldeponie

„Wir waren überrascht zu sehen, wie schnell ein Modell wieder zusammenbricht. Die Modelle können die meisten Originaldaten, aus denen sie ursprünglich gelernt haben, schnell vergessen“, meinte der am Projekt beteiligte Forscher Ilia Shumailov gegenüber VentureBeat. In einem Blog-Artikel warnt Ross Anderson, ein weiterer beiteiligter Forscher: „So wie wir die Ozeane mit Plastik vermüllt und die Atmosphäre mit Kohlendioxid gefüllt haben, sind wir nun dabei, das Internet mit Blabla zu füllen. Dadurch wird es schwieriger, neuere Modelle durch Webscraping zu trainieren“.

Das Problem: Je mehr KI-Inhalte im Internet kursieren, desto weniger seien menschliche Inhalte für die KI-Modelle zum Lernen verfügbar. Anderson zufolge hätten Unternehmen, die das Internet bereits gescraped haben, bzw. die den Zugang zu menschengemachten Inhalten kontrollierten, nun immense Vorteile: „Wir sehen bereits jetzt, dass KI-Startups das Internet Archive nach historischen Daten durchsuchen“. Denn bereits jetzt sei das Netz bereits mit KI-generiertem „Müll“ kontaminiert.

Problem mit blauen Katzen

Shumailov skizziert das Problem gegenüber VentureBeat folgendermaßen: Menschengemachte Dokumente, egal ob Bilder, Texte, Musik oder andere kreative Leistungen, würden die Welt umfassender beschreiben und auch unwahrscheinlichere Fälle abbilden. KI-Modelle hingegen wählen Daten nach Wahrscheinlichkeitskriterien aus: Werden bestimmte Daten häufiger vorgefunden als andere, werden die unwahrscheinlicheren eher verworfen.

Gut zu beschreiben sei dies anhand eines Datensets aus Katzenbildern. Wird ein KI-Modell mit Bildern von 10 blauen Katzen und 90 gelben Katzen trainiert, erkennt die KI, dass gelbe Katzen mit höherer Wahrscheinlichkeit „richtig“ sind. In der Folge produziert die KI selbst grünstichige Katzenbilder, wenn sie Katzen mit blauem Fell darstellen soll. Im Laufe der Zeit produziere sie überhaupt keine blauen Katzen mehr, sondern nur mehr gelbe.

Das Beispiel zeige laut Shumailov, dass die KI-Modelle Probleme mit unwahrscheinlicheren Daten hätten. Im Laufe der Zeit würden die Modelle somit versagen, meint der Forscher. Darüber hinaus entstünden dadurch zahlreiche Probleme, etwa Diskriminierung aufgrund bestimmter Minderheiten-Eigenschaften.

Deine ungelesenen Artikel:
02.06.2026

Cybersecurity: Was tun, wenn die KI angreift?

Gastbeitrag: Während große Konzerne aufgrund des regulatorischen Drucks ihr Cybersicherheits-Level hochschrauben, werden kleine Unternehmen für Angreifer immer interessanter. Mithilfe von Künstlicher Intelligenz erreichen Hacker ganz neue Umsatz-Dimensionen.
/artikel/cybersecurity-was-tun-wenn-die-ki-angreift
02.06.2026

Cybersecurity: Was tun, wenn die KI angreift?

Gastbeitrag: Während große Konzerne aufgrund des regulatorischen Drucks ihr Cybersicherheits-Level hochschrauben, werden kleine Unternehmen für Angreifer immer interessanter. Mithilfe von Künstlicher Intelligenz erreichen Hacker ganz neue Umsatz-Dimensionen.
/artikel/cybersecurity-was-tun-wenn-die-ki-angreift
KI, Cybersecurity
@ Tina Schön/schoenfotografiert Wien/Canva - Carolin Desirée Töpfer.

Carolin Desirée Töpfer ist externe Chief Information Security Officer, Cybersecurity-Strategin und Gründerin von Cyttraction mit Fokus auf kosteneffizientes Risikomanagement, sichere KI-Nutzung und Cybersecurity-Zertifizierungen. Mit praxisnahen Lernformaten und strategischer Expertise unterstützt sie regulierte Unternehmen dabei, Sicherheitsanforderungen effizient umzusetzen und nachhaltige digitale Resilienz aufzubauen. In ihrem Beitrag warnt sie vor KI-Cyberangriffen und rät Startups und kleinen Unternehmen Cybersicherheit frühzeitig strategisch zu verankern.


„Wir konzentrieren uns jetzt erst mal auf Produkt, Teamaufbau und Sales – Cybersicherheit machen wir dann später.“ Ein Satz, den ich so oder ähnlich häufig von Gründer:innen höre – und der einige Unternehmen schon Multi-Millionen gekostet hat.

Identität stehlen

Cyberkriminelle haben seit KI ihr Repertoire erweitert und finden Milliarden von bereits geleakten Datasets, mit denen sie arbeiten können. Das Ergebnis sind nicht nur technische Attacken, die es in die Headlines internationaler Medien schaffen. Viel schmerzhafter ist es für Unternehmen, wenn es Angreifer zwischen Arbeitsprozesse schaffen, E-Mails und Nachrichten zwischen Team-Mitgliedern, Geschäftspartnern und mit Kunden manipulieren. Anweisungen versenden, die zweifellos echt aussehen und dann mit ganzen Sammlungen an sensiblen Daten verschwinden. Die Identität des CxO stehlen oder Entführungen von Führungskräften vortäuschen, um dem Unternehmen zu schaden.

Neben dem Zeitverlust, der Budget-Verschwendung und den Aufräum-Kosten, kommt dann auch noch der Vertrauensverlust am Markt hinzu, gegenüber Kunden und Investoren. Dinge, auf die Gründer:innen oft erst kommen, wenn es bereits zu spät ist.

„Gesunder Menschenverstand“ oder „Hausverstand“ existiert nicht in der Cybersicherheit!

Aufgrund der oft vernachlässigten digitalen Bildung in Schulen und da viele Arbeitgeber immer noch nicht in effektive Trainings investieren, kommen in jedem Unternehmen Menschen mit ganz unterschiedlichen digitalen Fähigkeiten zusammen. Das gilt für Startup-Teams, Kunden und Investoren gleichermaßen. Hinzu kommen volle ToDo-Listen, Stress-Situationen und die eigene Scham.

Angreifer lieben gestresste, beschämte Arbeitstiere!

Ob jemand in so einem Umfeld eine gefälschte KI-Mail erkennt, die im schlimmsten Fall noch aus dem echten Postfach eines gehackten Geschäftspartners kommt, ist nur noch Glücksfall.

Trotzdem gibt es Teams, die tägliche Angriffe auf allen Ebenen erfolgreich abwehren – weil sie eine holistische Cybersicherheits-Strategie implementiert haben. Diese besteht je nach Geschäftsmodell und Branche aus einem präzisen Projektmanagement und zwischen 60 und 90 Einzelmaßnahmen. Zweck ist in erster Linie der umfassende Schutz der eigenen Arbeit. Gleichzeitig erfüllt das Unternehmen damit Anforderungen von Kunden sowie regulatorische Vorgaben, von denen Gründer:innen oft nicht einmal wissen.

Erste Basis-Maßnahmen sind auch für Startups mit kleinem Budget machbar!

Jede/ r hat heutzutage Angst, gehackt zu werden, Geld zu verlieren und seine eigenen sensiblen Informationen öffentlich im Internet zu finden. Das sehe ich nicht nur an den Fragen, die ich über meine „Social Media“-Kanäle bekomme. Dabei können schon 30-Minuten-Team-Meetings einen enormen Unterschied machen. Offen über Angriffsszenarien und Ängste sprechen, gleichzeitig die aktuellen Sicherheits-Maßnahmen ins Gedächtnis rufen, erhöhen die Aufmerksamkeit für Cyber-Themen sofort!

Auch um Ruhe reinzubringen. Denn wer sowieso immer gleich springt, wenn eine neue Aufgabe um die Ecke kommt, wird wahrscheinlich auch die Aufgaben von Hackern erfüllen. Klare Arbeitsprozesse, 4-Augen-Prinzip und die allgemeine Erlaubnis im Team, Dinge kritisch zu durchdenken, noch zweimal nachzufragen, oder einfach mal kurz durchzuatmen, hat schon so einige teure Fehler verhindert.

Verantwortlichkeiten in ruhigen Zeiten klären

Den größten Hebel haben dabei Gründer und Entscheider. „Founder Mode“ bedeutet oft auch, vieles selbst zu machen. IT Systeme und Sicherheits-Lösungen sind mittlerweile aber so komplex, dass sich das Investment in einen seriösen IT-Dienstleister lohnt. Viele bieten auch eine Hotline für Notfälle an.

Wesentlich günstiger ist es allerdings, diese Notfälle zu verhindern. Denn nach meiner Erfahrung brauchen selbst schnelle kleine Unternehmen sechs bis zwölf Monate, um eine funktionierende Cybersicherheits-Strategie mit allen Maßnahmen aufzubauen. Neben den technischen Upgrades, müssen dabei auch die organisatorischen Strukturen sitzen.

Wo klar ist, wer was wann macht und auch, wer sich um die Cybersecurity Maßnahmen kümmert, Aufräum-Aktionen, Updates und Backups organisiert, geht weniger schief. Bei kleinen Unternehmen muss die Person nicht einmal einen IT-Hintergrund mitbringen. Es beginnt mit Interesse am Thema, Projektmanagement-Skills und der Bereitschaft, das Team regelmäßig mit aktuellen Informationen zu versorgen.

Konflikte eingehen, um sichere Lösungen zu finden

Und auch darum, Konfliktsituationen smart zu lösen. Zum Beispiel beim Thema „Zugriff und Zutritt„: Nicht jeder sollte Zugriff auf alles haben. Dabei geht es nicht darum, Team-Mitglieder zu degradieren, sondern eine saubere Segmentierung zu schaffen. Am stärksten trenne ich hier zwischen Marketing und Kern-Business.

Alles, was sowieso für die Öffentlichkeit und mit verschiedenen Partnern produziert wird, findet bei mir selbst sogar in einer anderen Firma statt. Für Kunden richten wir technische Lösungen und Prozesse ein, die kreatives Marketing erlauben, Kunden-Kommunikation klar strukturiert und gleichzeitig das eigentliche Geschäftsmodell und die damit verbundenen Daten auf einem hohen Level schützt. Wer mit besonders sensiblen Informationen arbeitet, seine Patente aus Forschung und Entwicklung schützen will oder an einer einzigartigen Datenbasis für KI-Modelle arbeitet, kann über Segmentierung kosteneffizient Datenintegrität dort gewährleisten, wo sie wirklich notwendig ist.

Solche Konzepte stehen und fallen mit sicheren Login-Lösungen und der Bereitschaft aller Nutzer, diese auch zu nutzen. Die Aktivierung von 2 Faktor- oder Multi-Faktor-Authentifizierung führt dabei immer wieder zu Diskussionen.

Passwörter reichen schon lange nicht mehr aus, um Accounts zu schützen. Häufig bekommen Nutzer nur über die Abfrage des 2. Faktors mit, dass gerade ein Angreifer versucht, in ihren Account zu kommen.

Keine Schatten-IT, keine Schatten-KI

Wesentlich einfacher wird es, wenn alle im Team wirklich nur die Accounts nutzen, die sie wirklich für ihre tägliche Arbeit brauchen – und die sichere Funktion dieser über regelmäßige Tests oder technisches Tracking sicherstellen. So lässt sich auch vermeiden, dass das eigene Unternehmen zehn Tage offline und per E-Mail nicht erreichbar ist. Wie es zuletzt einer Wiener Geschäftsinhaberin passiert ist.

Auch aus wirtschaftlichen Gründen, kaufen Unternehmen kaum noch komplette Enterprise-Lizenzen für alle Mitarbeiter. Und auch bei Startups lohnt es sich, Lizenzen mindestens einmal im Jahr auszumisten und den jeweiligen Support zu bitten, vorhandene Daten EU DSGVO-konform zu löschen. Denn Accounts die ordentlich gelöscht wurden, können auch nicht zu Datenlecks führen.

Das gleiche gilt für alle KI Tools. Wer ein klares Prüfschema verfolgt, sich nicht vom Hype treiben lässt, unkontrolliertes Vibe Coding verhindert und auch hier ungenutzte Accounts wieder ordnungsgemäß löscht, kann von KI Effizienz profitieren, ohne seine eigene Arbeit oder gleich das ganze Unternehmen zu zerstören.

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Der Inhalt der Studie zeigt, dass KI-Modelle durch den von ihnen generierten „Müll“ selbst zerstört werden können und dass Unternehmen, die den Zugang zu menschgemachten Inhalten kontrollieren, dadurch einen Vorteil haben. Diese Erkenntnisse könnten Auswirkungen darauf haben, wie KI-Modelle trainiert werden und wer Zugang zu menschgemachten Inhalten hat, was wiederum Auswirkungen auf Wettbewerb und Diskriminierung haben könnte. Außerdem wird deutlich, dass die Vorstellung, KI könne alle Aufgaben besser lösen als Menschen, kritisch hinterfragt werden muss.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Die Studie eines britisch-kanadischen Forscherteams, die vor kurzem im Open-Access-Journal arXiv erschienen ist, hat gezeigt, dass KI-Modelle nachhaltig geschädigt werden können, wenn sie mit KI-generierten Inhalten trainieren. Dies könnte Unternehmen, die schnell KI-Lösungen in ihre Produkte integrieren wollen, vor große Herausforderungen stellen. Das Problem besteht darin, dass je mehr KI-Inhalte im Internet verfügbar sind, desto weniger menschengemachte Inhalte für die KI-Modelle zum Lernen vorhanden sind. Unternehmen, die bereits den Zugang zu menschengemachten Inhalten kontrollieren, würden einen immensen Vorteil genießen.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Dieser Artikel warnt Innovationsmanager:innen vor den Risiken beim Einsatz von KI-Modellen in ihren Produkten und Dienstleistungen. Eine Studie zeigt, dass KI-Modelle langfristig beschädigt werden können, wenn sie mit KI-generierten Inhalten trainiert werden, da die Modelle menschengemachte Inhalte benötigen, um weiter zu lernen. Dies kann dazu führen, dass KI-Modelle versagen und nicht mehr in der Lage sind, spezifische Daten oder Zusammenhänge richtig zu erkennen oder zu interpretieren. Innovationsmanager:innen sollten daher vorsichtig sein und sicherstellen, dass die KI-Modelle, die sie verwenden, menschengemachte Inhalte verwenden, um ihre Funktionsweise zu verbessern und langfristige Probleme zu vermeiden.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Als Investor:in sollten Sie aufmerksam sein, wie KI-Modelle trainiert werden und welche Auswirkungen dies auf deren Qualität und Leistung hat. Die Studie zeigt, dass KI-Modelle durch den Einfluss von KI-generiertem „Müll“ dauerhaft geschädigt werden können. Daher sollten Unternehmen, die KI-basierte Lösungen entwickeln, sicherstellen, dass sie ihre Modelle mit qualitativ hochwertigen menschengemachten Inhalten trainieren, um deren Leistung und Qualität zu sichern.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Die breite Verfügbarkeit von generativer KI hat den Hype um die Technologie verstärkt, aber eine Studie warnt nun davor, dass KI-Modelle durch ihren eigenen Müll, der in Form von KI-generierten Inhalten im Netz kursiert, nachhaltig geschädigt werden können. Die zunehmende Verbreitung von KI-generierten Inhalten führt dazu, dass die KI-Modelle weniger menschliche Inhalte für das Lernen zur Verfügung haben, und Unternehmen, die den Zugang zu menschlichem Content kontrollieren, haben daher immense Vorteile. Die Studie zeigt auch, dass die KI-Modelle Schwierigkeiten haben, unwahrscheinliche Daten abzubilden, was zu zahlreichen anderen Problemen führen kann, einschließlich Diskriminierung aufgrund von bestimmten Minderheiten-Eigenschaften.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

  • Ilia Shumailov
  • Ross Anderson
  • Mark Zuckerberg

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

  • Meta
  • Internet Archive

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören