14.06.2023

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

Eine neue Studie trübt die Hoffnungen, die in generative KI gesetzt werden. Durch zu viele KI-Inhalte im Internet könnten die Modelle verlernen, was hochwertiger Content ist.
/artikel/ki-modelle-koennen-sich-selbst-zerstoeren
Am Beispiel von blauen Katzen lässt sich erklären, wie KI-Modelle versagen. Bild: Unsplash/Rémi Rémino

Obwohl die Tech-Welt seit Jahren vor KI warnt, sind ihre Fähigkeiten erst letztes Jahr in den Fokus einer breiteren Öffentlichkeit gerückt: Generative KI ermöglicht es, mit wenigen Klicks kreative KI-Leistungen schnell verfügbar zu machen. Konkret heißt das: KI-Chatbots wie ChatGPT forumlieren auf Befehl eloquente Texte, können programmieren und verschiedene sprachliche Tasks im Nu erledigen. Bilderzeugungs-Tools wie Stable Diffusion oder Midjourney erzeugen auf Knopfdruck fotorealisitische Bilder.

Studie warnt vor Qualitätsverlust

Viele Unternehmen haben es plötzlich sehr eilig: Schnellstmöglich wollen sie KI-Lösungen in ihre Produkte implementieren, wie jüngst Mark Zuckerberg für Meta verkündete. Die Hoffnungen und Erwartungen, die in KI-Modelle gesetzt werden, sind riesig.

Die Studie eines britisch-kanadischen Forscherteams, die vor kurzem im Open-Access-Journal arXiv erschienen ist, könnte den KI-Hype jedoch etwas trüben. Sie kommt zu dem Ergebnis, dass KI-Modelle nachhaltig geschädigt werden können, wenn sie mit KI-generierten Inhalten trainieren. Denn laut den Studienautor:innen, seien die KI-Modelle derzeit vor allem deshalb so stark, weil sie mit menschengemachten Inhalten trainiert sind.

Internet als KI-Mülldeponie

“Wir waren überrascht zu sehen, wie schnell ein Modell wieder zusammenbricht. Die Modelle können die meisten Originaldaten, aus denen sie ursprünglich gelernt haben, schnell vergessen”, meinte der am Projekt beteiligte Forscher Ilia Shumailov gegenüber VentureBeat. In einem Blog-Artikel warnt Ross Anderson, ein weiterer beiteiligter Forscher: “So wie wir die Ozeane mit Plastik vermüllt und die Atmosphäre mit Kohlendioxid gefüllt haben, sind wir nun dabei, das Internet mit Blabla zu füllen. Dadurch wird es schwieriger, neuere Modelle durch Webscraping zu trainieren”.

Das Problem: Je mehr KI-Inhalte im Internet kursieren, desto weniger seien menschliche Inhalte für die KI-Modelle zum Lernen verfügbar. Anderson zufolge hätten Unternehmen, die das Internet bereits gescraped haben, bzw. die den Zugang zu menschengemachten Inhalten kontrollierten, nun immense Vorteile: “Wir sehen bereits jetzt, dass KI-Startups das Internet Archive nach historischen Daten durchsuchen”. Denn bereits jetzt sei das Netz bereits mit KI-generiertem “Müll” kontaminiert.

Problem mit blauen Katzen

Shumailov skizziert das Problem gegenüber VentureBeat folgendermaßen: Menschengemachte Dokumente, egal ob Bilder, Texte, Musik oder andere kreative Leistungen, würden die Welt umfassender beschreiben und auch unwahrscheinlichere Fälle abbilden. KI-Modelle hingegen wählen Daten nach Wahrscheinlichkeitskriterien aus: Werden bestimmte Daten häufiger vorgefunden als andere, werden die unwahrscheinlicheren eher verworfen.

Gut zu beschreiben sei dies anhand eines Datensets aus Katzenbildern. Wird ein KI-Modell mit Bildern von 10 blauen Katzen und 90 gelben Katzen trainiert, erkennt die KI, dass gelbe Katzen mit höherer Wahrscheinlichkeit “richtig” sind. In der Folge produziert die KI selbst grünstichige Katzenbilder, wenn sie Katzen mit blauem Fell darstellen soll. Im Laufe der Zeit produziere sie überhaupt keine blauen Katzen mehr, sondern nur mehr gelbe.

Das Beispiel zeige laut Shumailov, dass die KI-Modelle Probleme mit unwahrscheinlicheren Daten hätten. Im Laufe der Zeit würden die Modelle somit versagen, meint der Forscher. Darüber hinaus entstünden dadurch zahlreiche Probleme, etwa Diskriminierung aufgrund bestimmter Minderheiten-Eigenschaften.

Deine ungelesenen Artikel:
26.09.2024

Die “Klimaschutz ist wichtig, aber”-Leute

Man muss die Klimakrise nicht gleich leugnen. Man kann sie auch mit "Augenmaß" und "Hausverstand" tatkräftig unterstützen. Ein Kommentar zur bevorstehenden Nationalratswahl.
/artikel/die-klimaschutz-ist-wichtig-aber-leute-kommentar
26.09.2024

Die “Klimaschutz ist wichtig, aber”-Leute

Man muss die Klimakrise nicht gleich leugnen. Man kann sie auch mit "Augenmaß" und "Hausverstand" tatkräftig unterstützen. Ein Kommentar zur bevorstehenden Nationalratswahl.
/artikel/die-klimaschutz-ist-wichtig-aber-leute-kommentar
Die
brutkasten-Redakteur Dominik Perlaki | (c) brutkasten / Hintergrund KI-generiert

Am Sonntag ist Nationalratswahl. Zurecht wird dieser Tage noch einmal vehement auf die Gefahr der Klimaleugner-Partei für die Bemühungen im Klimaschutz hingewiesen. Die Schäden des dritten Jahrhunderthochwassers im ersten Viertel des Jahrhunderts sind noch nicht einmal vollständig erfasst, doch der “Klimahysterie”-Sprech ist schon wieder zurück. Aber nicht nur der. Es gibt noch eine zweite Spezies, die es genau so in sich hat, wie die Klimaleugner:innen: die “Klimaschutz ist wichtig, aber”-Leute.

“Ich bin kein Rassist, aber”

Bei den Klima-, Corona-, Geschichts- und Sontiges-Leugner:innen haben die “Klimaschutz ist wichtig, aber”-Leute sich eine gewinnende rhetorische Strategie abgeschaut. “Ich bin kein Rassist, aber” kennt man ja. Danach kann man im Prinzip sagen, was man will – sei es noch so rassistisch. Bei den richtigen Adressat:innen – jenen, die selber “ich bin kein Rassist, aber”-Leute sind – bringt der erste Teil des Satzes die Absolution mit sich. Und dann ist es aber mal gut und jeder Einwand zu dem Gesagten wird zum “ungeheuerlichen” Vorwurf. Wie gesagt: Kennt man ja.

“Überdenken” mit “Augenmaß” und “Hausverstand”

Also los geht’s! Klimaschutz ist wichtig, aber “mit Augenmaß” und “mit Hausverstand”. Klimaschutz ist wichtig, aber “wir müssen den Green Deal überdenken”, …”die CO2-Steuer überdenken”, …”das Renaturierunggesetz überdenken”.

Mit jeder Menge “Augenmaß” und “Hausverstand” werden also sämtliche Klimaschutzmaßnahmen von den “Klimaschutz ist wichtig, aber”-Leuten noch einmal gründlich “überdacht” und… Oh Schreck! Es stellt sich heraus, die Maßnahmen sind allesamt blöd. Jede einzelne. Wiewohl man natürlich betonen muss, dass Klimaschutz wichtig ist. Aber kann den bitte einmal auch jemand an den Standort* denken?

Die Sache ist die…

Die Sache ist die: So, wie das Hochwasser erhebliche Schäden an vielen Gebäuden verursacht hat, hat die Menschheit erhebliche Schäden am Ökosystem des Planeten verursacht. Das geht im Übrigen weit über die Klimakatastrophe hinaus. Die Biodiversitätskrise wird bekanntlich nicht nur durch CO2-Emissionen, sondern auch durch Dinge wie Flächenversiegelung, Monokulturen und Pestizideinsatz massiv getrieben.

So, wie nun vom Hochwasser betroffene Häuser, Betriebe und Infrastruktur saniert werden müssen, muss auch das Ökosystem saniert werden, wenn es uns auch in Zukunft eine gute Existenz ermöglichen soll.

Irgendwer muss bezahlen

Und das kostet. Auch wenn Staat, Land, EU, Versicherer und Co der Hausbesitzerin im Hochwassergebiet 100 Prozent der Sanierungskosten abnehmen, werden diese bezahlt – eben von Staat, Land, EU, Versicherern und Co. Irgendwer muss bezahlen. Die “Klimaschutz ist wichtig, aber”-Leute meinen, Klimaschutz ist nur dann gut, wenn er niemanden etwas kostet, dafür im Gegenteil allen Gewinne bringt. Eine Replik auf gut österreichisch: Des wird’s ned spün.

Aber

Aber – ja, jetzt kommt auch hier ein aber – aber ganz unberechtigt ist die Hoffnung der “Klimaschutz ist wichtig, aber”-Leute auch nicht. Denn so, wie die Sanierung der Hochwasserschäden den Sanierungsunternehmen erhöhte Gewinne bescheren wird, können jene, die das Ökosystem sanieren, damit Gewinne erzielen – sofern andere dafür zahlen.

So, wie es nun für die Volkswirtschaft wünschenswert ist, dass die Hochwasser-Sanierungsunternehmen in Österreich Arbeitsplätze schaffen und Steuern zahlen, ist es auch wünschenswert, dass die Sanierer des Ökosystems in Österreich Arbeitsplätze schaffen und Steuern zahlen.

Und so, wie es sogar noch besser für unsere Volkswirtschaft wäre, wenn auch in den anderen vom Hochwasser betroffenen Ländern österreichische Unternehmen für die Sanierung engagiert werden würden, wäre es noch besser für uns, wenn die ganze Welt bei CO2-Reduktion, Renaturierung und Co auf österreichische Expertise zurückgreifen würde.

Ganz und gar nicht förderlich

Förderlich ist dafür die gezielte Unterstützung dieser “Sanierungsunternehmen” im Aufbau. Diese passiert zwar bereits, könnte aber noch mit viel mehr Engagement betrieben werden. Ganz und gar nicht förderlich ist es dagegen, Unternehmen mit starkem Ökosystem-Sanierungsbedarf aktiv davor zu “bewahren”, die Leistungen dieser Sanierer in Anspruch zu nehmen (weil “Augenmaß”, “Hausverstand” und natürlich Standort*!!!). Das befeuert die Klimakrise weiter.

Es bleibt dabei: Wir müssen das Ökosystem verdammt nochmal sanieren, wenn wir langfristig überleben wollen. Und jemand muss dafür bezahlen. Staat, Land und EU – also wir alle – können auch hier mitzahlen. Versicherer gibt es dafür leider keinen.

Das Kreuzerl am Sonntag

Die “Klimaschutz ist wichtig, aber”-Leute wollen dafür jedenfalls nicht bezahlen und das ist ein Problem. Am Sonntag kann man sie wählen, oder auch nicht. Nota bene: Auch das Kreuzerl bei einer anderen Partei bringt keine Absolution und aller Voraussicht nach keine perfekten Lösungen. Aber vielleicht gelingt es, einer Politik mit jenem Hausverstand und jenem Augenmaß näher zu kommen, die es braucht, um unser Haus zu sanieren, statt weiteres Wasser in den Keller zu pumpen. Mit jenem Hausverstand und jenem Augenmaß, die es braucht, um unsere österreichischen Ökosystem-Sanierer dabei zu unterstützen, global erfolgreich zu werden. Also mit jenem Hausverstand und jenem Augenmaß, die unbedingt notwendige Transformation endlich wirklich auf Schiene zu bringen. Wenn das dann vielleicht auch dem Standort* schadet, so nutzt es langfristig jedenfalls dem Standort.


*Der Begriff “Standort” wird in Österreich häufig synonym mit “mein Kontostand” genutzt


P.S.

P.S.: Im übrigen bin ich der Meinung, dass es eine echte Kreislaufwirtschaft ohne Kompromisse braucht, um das hoffentlich einmal sanierte Ökosystem aufrechtzuerhalten. Das bedeutet auch ein Ende der Wunschvorstellung vom unbegrenzten Wachstum, das per Naturgesetz nur im Kollaps enden kann. Ökonom:innen sollten ihre Expertise dafür einsetzen, herauszufinden, wie ein wirklich zirkuläres System rechnerisch möglich ist, statt dafür, einmal mehr vorzurechnen, dass es “nicht möglich ist”.

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Der Inhalt der Studie zeigt, dass KI-Modelle durch den von ihnen generierten “Müll” selbst zerstört werden können und dass Unternehmen, die den Zugang zu menschgemachten Inhalten kontrollieren, dadurch einen Vorteil haben. Diese Erkenntnisse könnten Auswirkungen darauf haben, wie KI-Modelle trainiert werden und wer Zugang zu menschgemachten Inhalten hat, was wiederum Auswirkungen auf Wettbewerb und Diskriminierung haben könnte. Außerdem wird deutlich, dass die Vorstellung, KI könne alle Aufgaben besser lösen als Menschen, kritisch hinterfragt werden muss.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Die Studie eines britisch-kanadischen Forscherteams, die vor kurzem im Open-Access-Journal arXiv erschienen ist, hat gezeigt, dass KI-Modelle nachhaltig geschädigt werden können, wenn sie mit KI-generierten Inhalten trainieren. Dies könnte Unternehmen, die schnell KI-Lösungen in ihre Produkte integrieren wollen, vor große Herausforderungen stellen. Das Problem besteht darin, dass je mehr KI-Inhalte im Internet verfügbar sind, desto weniger menschengemachte Inhalte für die KI-Modelle zum Lernen vorhanden sind. Unternehmen, die bereits den Zugang zu menschengemachten Inhalten kontrollieren, würden einen immensen Vorteil genießen.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Dieser Artikel warnt Innovationsmanager:innen vor den Risiken beim Einsatz von KI-Modellen in ihren Produkten und Dienstleistungen. Eine Studie zeigt, dass KI-Modelle langfristig beschädigt werden können, wenn sie mit KI-generierten Inhalten trainiert werden, da die Modelle menschengemachte Inhalte benötigen, um weiter zu lernen. Dies kann dazu führen, dass KI-Modelle versagen und nicht mehr in der Lage sind, spezifische Daten oder Zusammenhänge richtig zu erkennen oder zu interpretieren. Innovationsmanager:innen sollten daher vorsichtig sein und sicherstellen, dass die KI-Modelle, die sie verwenden, menschengemachte Inhalte verwenden, um ihre Funktionsweise zu verbessern und langfristige Probleme zu vermeiden.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Als Investor:in sollten Sie aufmerksam sein, wie KI-Modelle trainiert werden und welche Auswirkungen dies auf deren Qualität und Leistung hat. Die Studie zeigt, dass KI-Modelle durch den Einfluss von KI-generiertem “Müll” dauerhaft geschädigt werden können. Daher sollten Unternehmen, die KI-basierte Lösungen entwickeln, sicherstellen, dass sie ihre Modelle mit qualitativ hochwertigen menschengemachten Inhalten trainieren, um deren Leistung und Qualität zu sichern.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Die breite Verfügbarkeit von generativer KI hat den Hype um die Technologie verstärkt, aber eine Studie warnt nun davor, dass KI-Modelle durch ihren eigenen Müll, der in Form von KI-generierten Inhalten im Netz kursiert, nachhaltig geschädigt werden können. Die zunehmende Verbreitung von KI-generierten Inhalten führt dazu, dass die KI-Modelle weniger menschliche Inhalte für das Lernen zur Verfügung haben, und Unternehmen, die den Zugang zu menschlichem Content kontrollieren, haben daher immense Vorteile. Die Studie zeigt auch, dass die KI-Modelle Schwierigkeiten haben, unwahrscheinliche Daten abzubilden, was zu zahlreichen anderen Problemen führen kann, einschließlich Diskriminierung aufgrund von bestimmten Minderheiten-Eigenschaften.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

  • Ilia Shumailov
  • Ross Anderson
  • Mark Zuckerberg

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

  • Meta
  • Internet Archive

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören