14.06.2023

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

Eine neue Studie trübt die Hoffnungen, die in generative KI gesetzt werden. Durch zu viele KI-Inhalte im Internet könnten die Modelle verlernen, was hochwertiger Content ist.
/artikel/ki-modelle-koennen-sich-selbst-zerstoeren
Am Beispiel von blauen Katzen lässt sich erklären, wie KI-Modelle versagen. Bild: Unsplash/Rémi Rémino

Obwohl die Tech-Welt seit Jahren vor KI warnt, sind ihre Fähigkeiten erst letztes Jahr in den Fokus einer breiteren Öffentlichkeit gerückt: Generative KI ermöglicht es, mit wenigen Klicks kreative KI-Leistungen schnell verfügbar zu machen. Konkret heißt das: KI-Chatbots wie ChatGPT forumlieren auf Befehl eloquente Texte, können programmieren und verschiedene sprachliche Tasks im Nu erledigen. Bilderzeugungs-Tools wie Stable Diffusion oder Midjourney erzeugen auf Knopfdruck fotorealisitische Bilder.

Studie warnt vor Qualitätsverlust

Viele Unternehmen haben es plötzlich sehr eilig: Schnellstmöglich wollen sie KI-Lösungen in ihre Produkte implementieren, wie jüngst Mark Zuckerberg für Meta verkündete. Die Hoffnungen und Erwartungen, die in KI-Modelle gesetzt werden, sind riesig.

Die Studie eines britisch-kanadischen Forscherteams, die vor kurzem im Open-Access-Journal arXiv erschienen ist, könnte den KI-Hype jedoch etwas trüben. Sie kommt zu dem Ergebnis, dass KI-Modelle nachhaltig geschädigt werden können, wenn sie mit KI-generierten Inhalten trainieren. Denn laut den Studienautor:innen, seien die KI-Modelle derzeit vor allem deshalb so stark, weil sie mit menschengemachten Inhalten trainiert sind.

Internet als KI-Mülldeponie

“Wir waren überrascht zu sehen, wie schnell ein Modell wieder zusammenbricht. Die Modelle können die meisten Originaldaten, aus denen sie ursprünglich gelernt haben, schnell vergessen”, meinte der am Projekt beteiligte Forscher Ilia Shumailov gegenüber VentureBeat. In einem Blog-Artikel warnt Ross Anderson, ein weiterer beiteiligter Forscher: “So wie wir die Ozeane mit Plastik vermüllt und die Atmosphäre mit Kohlendioxid gefüllt haben, sind wir nun dabei, das Internet mit Blabla zu füllen. Dadurch wird es schwieriger, neuere Modelle durch Webscraping zu trainieren”.

Das Problem: Je mehr KI-Inhalte im Internet kursieren, desto weniger seien menschliche Inhalte für die KI-Modelle zum Lernen verfügbar. Anderson zufolge hätten Unternehmen, die das Internet bereits gescraped haben, bzw. die den Zugang zu menschengemachten Inhalten kontrollierten, nun immense Vorteile: “Wir sehen bereits jetzt, dass KI-Startups das Internet Archive nach historischen Daten durchsuchen”. Denn bereits jetzt sei das Netz bereits mit KI-generiertem “Müll” kontaminiert.

Problem mit blauen Katzen

Shumailov skizziert das Problem gegenüber VentureBeat folgendermaßen: Menschengemachte Dokumente, egal ob Bilder, Texte, Musik oder andere kreative Leistungen, würden die Welt umfassender beschreiben und auch unwahrscheinlichere Fälle abbilden. KI-Modelle hingegen wählen Daten nach Wahrscheinlichkeitskriterien aus: Werden bestimmte Daten häufiger vorgefunden als andere, werden die unwahrscheinlicheren eher verworfen.

Gut zu beschreiben sei dies anhand eines Datensets aus Katzenbildern. Wird ein KI-Modell mit Bildern von 10 blauen Katzen und 90 gelben Katzen trainiert, erkennt die KI, dass gelbe Katzen mit höherer Wahrscheinlichkeit “richtig” sind. In der Folge produziert die KI selbst grünstichige Katzenbilder, wenn sie Katzen mit blauem Fell darstellen soll. Im Laufe der Zeit produziere sie überhaupt keine blauen Katzen mehr, sondern nur mehr gelbe.

Das Beispiel zeige laut Shumailov, dass die KI-Modelle Probleme mit unwahrscheinlicheren Daten hätten. Im Laufe der Zeit würden die Modelle somit versagen, meint der Forscher. Darüber hinaus entstünden dadurch zahlreiche Probleme, etwa Diskriminierung aufgrund bestimmter Minderheiten-Eigenschaften.

Deine ungelesenen Artikel:
07.01.2025

“Ich rate dir, dich in Zukunft von Startups und ähnlichen Projekten fernzuhalten”

Gründerin Romy Sigl gab sich im Dezember noch kämpferisch – doch trotz intensiver Mühen konnte keine Lösung gefunden werden. Am 29. März endet die Ära des Coworking Salzburg mit einer Abschlussparty. Rund um diese Vorgänge erhielt Sigl kürzlich eine anonyme Nachricht mit einem "Ratschlag", machte dies auf LinkedIn öffentlich und startete damit nicht nur eine Diskussion, sondern zeigte auch gleich auf, mit welchen vereinzelten Animositäten die Startup-Kultur in Österreich weiterhin zu tun hat.
/artikel/ich-rate-dir-dich-in-zukunft-von-startups-und-aehnlichen-projekten-fernzuhalten
07.01.2025

“Ich rate dir, dich in Zukunft von Startups und ähnlichen Projekten fernzuhalten”

Gründerin Romy Sigl gab sich im Dezember noch kämpferisch – doch trotz intensiver Mühen konnte keine Lösung gefunden werden. Am 29. März endet die Ära des Coworking Salzburg mit einer Abschlussparty. Rund um diese Vorgänge erhielt Sigl kürzlich eine anonyme Nachricht mit einem "Ratschlag", machte dies auf LinkedIn öffentlich und startete damit nicht nur eine Diskussion, sondern zeigte auch gleich auf, mit welchen vereinzelten Animositäten die Startup-Kultur in Österreich weiterhin zu tun hat.
/artikel/ich-rate-dir-dich-in-zukunft-von-startups-und-aehnlichen-projekten-fernzuhalten
Coworking Salzburg
(c) Romy Sigl -

Früher hieß es, steig nicht zu Fremden ins Auto. Oder: Lass keine Fremden in deine Wohnung. Dann folgten “absurde” Ideen und daraus Uber und Airbnb. Dies sind zwei Beispiele von Visionen, die anfänglich auf Skepsis gestoßen sind, sich dann aber zu weltweiten Erfolgen entwickelt haben. Zugegeben, die Thematik rund um das Ende von Coworking Salzburg – siehe hier – ist nun eine, die zu einem Teil der Scheiterkultur in Österreich geworden ist. Aber durch die Botschaft eines anonymen Kritikers das offenbart, womit man heutzutage noch in der Republik als Teil des Startup-Ökosystems zu tun hat.

Scheiterkultur in Österreich

Bereits vor zehn Jahren meinte Hansi Hansmann, dass Österreich eine schlechte Scheiterkultur habe. Dabei sei gerade hier der Lernprozess extrem hoch, sagte der Business Angel damals. Seitdem gab es immer wieder Beispiele von einem gesunden Umgang mit Fehlern und Fehleinschätzungen, etwa von CrowdFarming oder von Direct Sales. Vor knapp fünf Jahren machte sich zudem das Labor für schönes Scheitern dafür stark, einen “lockeren Umgang” im Scheitern zu pflegen.

“Die letzten zehn Jahre haben mir gezeigt, dass echte Veränderung dort beginnt, wo wir uns trauen, unsere Fehler anzunehmen und darüber zu sprechen – egal ob als Einzelperson, in einem Team oder in einer Organisation”, sagte auch Fuckup-Nights-Initiator Dejan Stojanovic im November des vorigen Jahres, als seine Idee die erste Dekade feierte.

Offener Umgang

Romy Sigl ging mit dem Ende von Coworking Salzburg, wie oftmals von der Szene empfohlen, dementsprechend offen um, kämpfte um die Rettung und musste sich schlussendlich mit dem Aus ihrer Vision abfinden. Wie sie kürzlich auf LinkedIn schrieb, erreichte sie jedoch eine anonyme Botschaft, die einige kritische Fragen zum Coworking-Space und der Startup-Kultur in Salzburg aufwarf. Sigl machte sie öffentlich und startete damit einen Diskurs rund um die Art und Weise von Kritik und das allgemeine österreichische Mindset, das ab und an mit Missgunst und Schadenfreude einhergeht.

Die Nachricht an die Founderin enthielt u.a. folgende Aussagen: “Die sogenannte ‘Startup-Bubble’ rund um den Coworking Space in Salzburg ist für mich eine reine Illusion. Sie besteht aus Menschen, die glauben, Geschäftsideen zu haben, die jedoch oft absurd und nicht realisierbar sind. (…) Ich sehe es positiv, dass dadurch Coworking-Spaces, die sich als vermeintliche Top-Adressen darstellen, letztlich verschwinden. Aus meinen eigenen Einblicken in diesen Coworking-Space kann ich nur sagen, dass ich es äußerst kritisch finde, wenn Menschen in ihren Ideen bestärkt werden, obwohl von Anfang an klar ist, dass diese nicht funktionieren können.”

Und weiter: “So schwer es für Romys Ego auch sein mag, es ist an der Zeit, die Realität zu akzeptieren: Es ist vorbei, und das Projekt kann nicht mehr künstlich am Leben gehalten werden. (…) Niemand möchte mit einem heruntergekommenen Gebäude und einer visionär überzogenen, aber wenig greifbaren Community in Verbindung gebracht werden. Es ist Zeit, loszulassen und die Realität anzunehmen. Liebe Romy, ich wünsche dir persönlich alles Gute, aber ich rate dir, dich in Zukunft von Startups und ähnlichen Projekten fernzuhalten.”

Auf eine inhaltliche Ebene heben

Sigl verlinkt in ihrem Post in den Kommentaren die komplette Botschaft des anonymen Absenders, macht aber noch weitaus mehr. Sie entbröselt die zum Teil persönliche Kritik und hebt sie auf eine inhaltliche Ebene, indem sie sachlich auf die einzelnen Kritikpunkte eingeht.

Sie schreibt: “Ein Vorwurf lautete, dass Coworking-Spaces ‘absurde und nicht realisierbare’ Geschäftsideen fördern. Hier möchten wir widersprechen: Innovation entsteht oft aus Experimenten und Ideen, die zunächst unkonventionell wirken. Airbnb, Uber oder Slack sind nur einige Beispiele von Unternehmen, die zunächst als unrealistisch abgetan wurden. Coworking-Spaces sind keine Erfolgsgaranten, sondern Plattformen. Sie bieten Gründern Zugang zu Netzwerken, Ressourcen und einer inspirierenden Umgebung. Es ist Teil des unternehmerischen Prozesses, Ideen zu testen – und manchmal auch zu scheitern. Wir sind stolz darauf, viele Startups auf ihrem Weg begleitet zu haben, von ersten Prototypen bis hin zu marktfähigen Produkten.”

Der Kritik, dass ihrer Community “jegliche echte Expertise” fehle, setzt sie entgegen, dass ihr Space von Beginn an eine bunte Mischung aus erfahrenen Unternehmer:innen, kreativen Köpfen und jungen Gründer:innen dargestellt habe: “Gerade diese Vielfalt macht Coworking-Spaces aus. Sie sind Orte des Austauschs, wo Wissen geteilt und gemeinschaftlich Lösungen gefunden werden. Darüber hinaus haben wir mit etablierten Organisationen wie Startup Salzburg und dem Techno-Z in Puch zusammengearbeitet, um unseren Mitgliedern Zugang zu weiterführenden Ressourcen und Programmen zu bieten. Expertise entsteht durch Zusammenarbeit, nicht durch Ausgrenzung”, so Sigl weiter.

“Feig” und “Schlag unter die Gürtellinie”

Weitere Punkte von Sigls Replik betreffen Förderungen, die Tragfähigkeit des Co-Working-Projekts und eine negative Stimmung als Folge, auf die sie eingeht. Unterstützung erhält sie dabei von Teilen der LinkedIn-Community, die die Anonymität des Kritikers “feige” bzw. seine Zeilen einen “Schlag unter die Gürtellinie” nennen und auf die nachhaltige Wirkung der Gründerin eingehen.

“Der Standort und die heimischen Startups, inklusive Symptoma, haben vom Beleben des Standorts eindeutig profitiert. Der Space hat viele Leute zusammengebracht – ein Grundbaustein für Innovationen”, schreibt etwa Jama Nateqi, Founder und CEO von Symptoma.

Und Sven Maikranz, Gründer von Upstrive hält einen besonderen Punkt fest, wo man eine große Chance verpasst hätte: “Menschen, die sich selbst nicht genug Signifkanz geben können, versuchen es dadurch zu erreichen, dass sie andere runter drücken und schlecht machen. Traurig und schade, weil es sicher zu den Themen eine konstruktive Diskussion geben könnte, der Autor durch die Form und Anonymität sich aber selbst disqualifiziert.”

Passend dazu zitiert Sigl den Buchschreiber und Berater Mario Kellermann: “Kritik ist nur dann wertvoll, wenn sie sagt, wie es besser geht. Alles andere ist sonst nur leeres Gerede und sinnlose Wichtigtuerei.”

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Der Inhalt der Studie zeigt, dass KI-Modelle durch den von ihnen generierten “Müll” selbst zerstört werden können und dass Unternehmen, die den Zugang zu menschgemachten Inhalten kontrollieren, dadurch einen Vorteil haben. Diese Erkenntnisse könnten Auswirkungen darauf haben, wie KI-Modelle trainiert werden und wer Zugang zu menschgemachten Inhalten hat, was wiederum Auswirkungen auf Wettbewerb und Diskriminierung haben könnte. Außerdem wird deutlich, dass die Vorstellung, KI könne alle Aufgaben besser lösen als Menschen, kritisch hinterfragt werden muss.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Die Studie eines britisch-kanadischen Forscherteams, die vor kurzem im Open-Access-Journal arXiv erschienen ist, hat gezeigt, dass KI-Modelle nachhaltig geschädigt werden können, wenn sie mit KI-generierten Inhalten trainieren. Dies könnte Unternehmen, die schnell KI-Lösungen in ihre Produkte integrieren wollen, vor große Herausforderungen stellen. Das Problem besteht darin, dass je mehr KI-Inhalte im Internet verfügbar sind, desto weniger menschengemachte Inhalte für die KI-Modelle zum Lernen vorhanden sind. Unternehmen, die bereits den Zugang zu menschengemachten Inhalten kontrollieren, würden einen immensen Vorteil genießen.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Dieser Artikel warnt Innovationsmanager:innen vor den Risiken beim Einsatz von KI-Modellen in ihren Produkten und Dienstleistungen. Eine Studie zeigt, dass KI-Modelle langfristig beschädigt werden können, wenn sie mit KI-generierten Inhalten trainiert werden, da die Modelle menschengemachte Inhalte benötigen, um weiter zu lernen. Dies kann dazu führen, dass KI-Modelle versagen und nicht mehr in der Lage sind, spezifische Daten oder Zusammenhänge richtig zu erkennen oder zu interpretieren. Innovationsmanager:innen sollten daher vorsichtig sein und sicherstellen, dass die KI-Modelle, die sie verwenden, menschengemachte Inhalte verwenden, um ihre Funktionsweise zu verbessern und langfristige Probleme zu vermeiden.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Als Investor:in sollten Sie aufmerksam sein, wie KI-Modelle trainiert werden und welche Auswirkungen dies auf deren Qualität und Leistung hat. Die Studie zeigt, dass KI-Modelle durch den Einfluss von KI-generiertem “Müll” dauerhaft geschädigt werden können. Daher sollten Unternehmen, die KI-basierte Lösungen entwickeln, sicherstellen, dass sie ihre Modelle mit qualitativ hochwertigen menschengemachten Inhalten trainieren, um deren Leistung und Qualität zu sichern.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Die breite Verfügbarkeit von generativer KI hat den Hype um die Technologie verstärkt, aber eine Studie warnt nun davor, dass KI-Modelle durch ihren eigenen Müll, der in Form von KI-generierten Inhalten im Netz kursiert, nachhaltig geschädigt werden können. Die zunehmende Verbreitung von KI-generierten Inhalten führt dazu, dass die KI-Modelle weniger menschliche Inhalte für das Lernen zur Verfügung haben, und Unternehmen, die den Zugang zu menschlichem Content kontrollieren, haben daher immense Vorteile. Die Studie zeigt auch, dass die KI-Modelle Schwierigkeiten haben, unwahrscheinliche Daten abzubilden, was zu zahlreichen anderen Problemen führen kann, einschließlich Diskriminierung aufgrund von bestimmten Minderheiten-Eigenschaften.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

  • Ilia Shumailov
  • Ross Anderson
  • Mark Zuckerberg

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

  • Meta
  • Internet Archive

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören