Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören
Eine neue Studie trübt die Hoffnungen, die in generative KI gesetzt werden. Durch zu viele KI-Inhalte im Internet könnten die Modelle verlernen, was hochwertiger Content ist.
Obwohl die Tech-Welt seit Jahren vor KI warnt, sind ihre Fähigkeiten erst letztes Jahr in den Fokus einer breiteren Öffentlichkeit gerückt: Generative KI ermöglicht es, mit wenigen Klicks kreative KI-Leistungen schnell verfügbar zu machen. Konkret heißt das: KI-Chatbots wie ChatGPT forumlieren auf Befehl eloquente Texte, können programmieren und verschiedene sprachliche Tasks im Nu erledigen. Bilderzeugungs-Tools wie Stable Diffusion oder Midjourney erzeugen auf Knopfdruck fotorealisitische Bilder.
Studie warnt vor Qualitätsverlust
Viele Unternehmen haben es plötzlich sehr eilig: Schnellstmöglich wollen sie KI-Lösungen in ihre Produkte implementieren, wie jüngst Mark Zuckerberg für Meta verkündete. Die Hoffnungen und Erwartungen, die in KI-Modelle gesetzt werden, sind riesig.
Die Studie eines britisch-kanadischen Forscherteams, die vor kurzem im Open-Access-Journal arXiv erschienen ist, könnte den KI-Hype jedoch etwas trüben. Sie kommt zu dem Ergebnis, dass KI-Modelle nachhaltig geschädigt werden können, wenn sie mit KI-generierten Inhalten trainieren. Denn laut den Studienautor:innen, seien die KI-Modelle derzeit vor allem deshalb so stark, weil sie mit menschengemachten Inhalten trainiert sind.
Internet als KI-Mülldeponie
„Wir waren überrascht zu sehen, wie schnell ein Modell wieder zusammenbricht. Die Modelle können die meisten Originaldaten, aus denen sie ursprünglich gelernt haben, schnell vergessen“, meinte der am Projekt beteiligte Forscher Ilia Shumailov gegenüber VentureBeat. In einem Blog-Artikel warnt Ross Anderson, ein weiterer beiteiligter Forscher: „So wie wir die Ozeane mit Plastik vermüllt und die Atmosphäre mit Kohlendioxid gefüllt haben, sind wir nun dabei, das Internet mit Blabla zu füllen. Dadurch wird es schwieriger, neuere Modelle durch Webscraping zu trainieren“.
Das Problem: Je mehr KI-Inhalte im Internet kursieren, desto weniger seien menschliche Inhalte für die KI-Modelle zum Lernen verfügbar. Anderson zufolge hätten Unternehmen, die das Internet bereits gescraped haben, bzw. die den Zugang zu menschengemachten Inhalten kontrollierten, nun immense Vorteile: „Wir sehen bereits jetzt, dass KI-Startups das Internet Archive nach historischen Daten durchsuchen“. Denn bereits jetzt sei das Netz bereits mit KI-generiertem „Müll“ kontaminiert.
Problem mit blauen Katzen
Shumailov skizziert das Problem gegenüber VentureBeat folgendermaßen: Menschengemachte Dokumente, egal ob Bilder, Texte, Musik oder andere kreative Leistungen, würden die Welt umfassender beschreiben und auch unwahrscheinlichere Fälle abbilden. KI-Modelle hingegen wählen Daten nach Wahrscheinlichkeitskriterien aus: Werden bestimmte Daten häufiger vorgefunden als andere, werden die unwahrscheinlicheren eher verworfen.
Gut zu beschreiben sei dies anhand eines Datensets aus Katzenbildern. Wird ein KI-Modell mit Bildern von 10 blauen Katzen und 90 gelben Katzen trainiert, erkennt die KI, dass gelbe Katzen mit höherer Wahrscheinlichkeit „richtig“ sind. In der Folge produziert die KI selbst grünstichige Katzenbilder, wenn sie Katzen mit blauem Fell darstellen soll. Im Laufe der Zeit produziere sie überhaupt keine blauen Katzen mehr, sondern nur mehr gelbe.
Das Beispiel zeige laut Shumailov, dass die KI-Modelle Probleme mit unwahrscheinlicheren Daten hätten. Im Laufe der Zeit würden die Modelle somit versagen, meint der Forscher. Darüber hinaus entstünden dadurch zahlreiche Probleme, etwa Diskriminierung aufgrund bestimmter Minderheiten-Eigenschaften.
Umarmungen statt Visitenkarten: Zu Besuch beim ersten Conxious Picnic am Otto Wagner Areal
Zwei Tage lang hat die Community rund um Andreas Tschas auf dem Otto Wagner Areal in Wien an einem „neuen Betriebssystem für unsere Wirtschaft“ gearbeitet. Ein Besuch beim ersten Conxious Picnic.
Umarmungen statt Visitenkarten: Zu Besuch beim ersten Conxious Picnic am Otto Wagner Areal
Zwei Tage lang hat die Community rund um Andreas Tschas auf dem Otto Wagner Areal in Wien an einem „neuen Betriebssystem für unsere Wirtschaft“ gearbeitet. Ein Besuch beim ersten Conxious Picnic.
Business Angel Hansi Hansmann und Conxious-Gründer Andreas Tschas | (c) Luisazzoe / StudioZucker
Es braucht seine Zeit, bis man oben ist. Wer zum Conxious Picnic will, muss hinauf auf die Baumgartner Höhe in Wien-Penzing, fernab der hektischen Innenstadt. Der Ort ist bewusst gewählt.
Das Otto Wagner Areal wurde vor rund 120 Jahren als Heil- und Pflegeanstalt eröffnet und umfasst rund 50 Hektar. Das entspricht der Fläche von rund 70 Fußballfeldern. Nach einem Jahrhundert klinischer Nutzung wird das denkmalgeschützte Jugendstilensemble neu belebt. 2030 oder 2031 soll hier die Musik und Kunst Privatuniversität der Stadt Wien (MUK) einziehen. Bis dahin wird das Gelände zwischengenutzt, unter anderem von Kreativkollektiven und für Kunst- und Kulturveranstaltungen.
Das Jugendstiltheater am Otto Wagner Areal in Wien-Penzing war Schauplatz des Conxious Picnic. Foto: Luisazzoe / StudioZucker
Am 30. September und 1. Oktober war das Jugendstiltheater mit seinen Gärten Schauplatz des ersten Conxious Picnic. Schon beim Hineingehen weiß man: Hier geht es anders zu als bei einem üblichen Business-Event. Man spricht sich mit Vornamen an. Teilweise umarmt man sich bei der Begrüßung.
Das Betriebssystem von morgen
Hinter dem Format steht Andreas Tschas, Gründer von Conxious. Seine Vision fasst er im Gespräch mit brutkasten in einem Satz zusammen: „Ein neues Betriebssystem für unsere Wirtschaft, das auf Vertrauen und innerer Klarheit beruht.“ Nach diesem Gedanken sei auch die Veranstaltung aufgebaut gewesen. Es gehe darum, Wirtschaft wieder menschlicher zu machen: „Weg vom Business, hin zur Wirtschaft, zum Wirt.“ Der Wirt sei jemand, der auf die Ressourcen schaue, ein Host, der auf die Community achte.
Rund 200 Gäste waren laut Andreas Tschas an den beiden Tagen durchgehend vor Ort. | Foto: Luisazzoe / StudioZucker
Das Interesse war größer als erwartet. 250 Personen waren laut Tschas angemeldet, durchgehend seien rund 200 vor Ort gewesen. Die Gäste kamen auch aus anderen europäischen Ländern, darunter die Niederlande, Portugal, Deutschland und Italien.
Was man mitbringen muss
Wer mitmachen will, braucht vor allem Zeit. Die Veranstalter baten ihre Gäste vorab, an beiden Tagen zu bleiben. Das Picknick sei als ein Bogen gedacht, bei dem jeder Akt auf dem vorigen aufbaut.
Dazu kommen Neugier, Präsenz und die Offenheit für Menschen, die man noch nicht kennt. So stand es in der Einladung an die Gäste. Wer wollte, brachte eine Blume mit, einen Kuchen zum Teilen oder ein Sitzkissen für die Wiese. Einen Dresscode gab es nicht, Farbe war ausdrücklich willkommen.
Wer sitzt, kann etwas vorbringen
Am zweiten Tag geht es im Jugendstiltheater um Träume. Bianca Gfrei von Conxious steht in der Mitte des Raums. Rund um sie sind Vintage-Möbel des Wiener Generationencafés Vollpension aufgereiht, dazwischen liegen Sitzkissen. Wer hier Platz nimmt, soll die Augen schließen und seine Wünsche benennen.
Bianca Gfrei von Conxious leitete am zweiten Tag die Runde zu den Träumen der Gäste. | Foto: Luisazzoe| / StudioZucker
Dann öffnet Gfrei die Runde. Gefragt wird nach Themen: Wer hat einen Traum, wenn es um Business geht? Wer, wenn es um Räume geht? Wer in der Runde sitzt, kann etwas vorbringen und sagen, welche Unterstützung er oder sie braucht.
Auch Tschas bringt einen Traum ein, und der betrifft Bildung. Inhalte für Kinder würden künftig viele Unternehmen liefern, entscheidend sei das Erlebnis rundherum. Mit „Conxious in the Garden“ treffen sich bereits Familien an Wochenenden. Er sei nicht überzeugt, dass sich das Bildungssystem in Österreich so schnell anpassen könne wie nötig. Zugleich gebe es sehr gute Schulen, nur brauche es mehr davon. Für das Vorhaben sucht er einen CEO, ein Investor sei bereits interessiert.
Vertrauen als Business Case
So weich das klingt, Tschas argumentiert wirtschaftlich. Das Fundament von Conxious sei Vertrauen, und das Picknick habe mit genau diesem Gedanken begonnen: „Trust as a Business Case“. Er erzählt dazu von Business Angel Hansi Hansmann, einem der Founding Partner von Conxious. Der habe ihm gesagt, dass es um Vertrauen gehe, sei für ihn ein No-Brainer. Für Tschas ist das der Punkt: „Du lernst den Menschen kennen und du vertraust ihm einmal.“ Daraus seien die großen Erfolgsgeschichten entstanden.
Auch der Autor und NEOS-Mitgründer Matthias Strolz war vor Ort. | Foto: Luisazzoe / StudioZucker
In Unternehmen sehe er oft das Gegenteil. Wenn er in Abteilungen nachfrage, wie viel Zeit in Konflikte und interne Politik fließe, höre er im Schnitt 70 Prozent. Der Grund sei ein Vertrauensproblem.
Bei Startups zeige sich das im Founder-Konflikt. Der „Return on Investment on emotional well-being“ werde völlig unterschätzt, sagt Tschas. Er kenne nur wenige Investoren, die vorbeugend etwas tun. Komme es zum Konflikt, könne man „mindestens 50 Prozent der Bewertung abschreiben“.
Auch die Freiflächen rund um das Jugendstiltheater wurden bespielt. | Foto: Luisazzoe / StudioZucker
Wer dabei war
Auf dem Programm standen unter anderem der Impact-Investor Charly Kleissner, die Kulturanthropologin Bettina Ludwig, der Autor und NEOS-Mitgründer Matthias Strolz, Thomas Funke, Mitgründer der Tomorrow University, und Eversports-Mitgründer Hanno Lippitsch. Unter den Gästen waren laut Tschas zudem viele Gründer, die diesen Weg schon gegangen sind, darunter TTTech-Mitgründer Georg Kopetz sowie Busuu-Mitgründer und Investor Bernhard Niesner. Auch Digitalisierungsstaatssekretär Alexander Pröll und Bernhard Sagmeister, Geschäftsführer der Austria Wirtschaftsservice GmbH (aws), waren vor Ort.
TTTech-Mitgründer Georg Kopetz im Gespräch mit Conxious-Gründer Andreas Tschas | Foto: Luisazzoe / StudioZucker
Auch der Unternehmer Klaus Buchroithner war dabei, dessen Firma das Merchandise für Conxious produziert. „Die letzten zwei Tage ist es sehr wenig ums Business gegangen und sehr viel um Persönlichkeitsentwicklung“, sagt er. Es habe Sessions gegeben, in denen man sich bewegt hat, aber auch Vorträge. Eine klassische Business-Konferenz sei es sicher nicht gewesen.
Besonders mitgenommen hat Buchroithner den Beitrag von Ludwig über eine der letzten Jäger-und-Sammler-Gemeinschaften. Dort sei jeder von Geburt an Teil eines größeren Ganzen, weil die Gemeinschaft nur gemeinsam überlebt. Sein Schluss daraus: Egoistische Entscheidungen seien „eigentlich kompletter Unsinn“.
Foto: Luisazzoe / StudioZucker
Was aus dem Picknick entstehen soll
Beim Reden soll es nicht bleiben. Tschas formuliert eine Hypothese: Unternehmen und Startups, die auf dieser Basis von Vertrauen gegründet werden, funktionieren besser. Aus der Community heraus würden gerade die ersten Unternehmen gemeinsam gestartet.
Konkret denkt man laut Tschas über drei Dinge nach. Ein Magazin, das sich um Bewusstsein in der Wirtschaft dreht. Räume für Meetings, in denen man präsenter und weniger abgelenkt ist. Und eine Schule. In drei bis vier Monaten werde man mehr dazu sagen können.
Das Prinzip dahinter beschreibt er so: „Dem Glück auf die Sprünge helfen, indem wir coole Leute und coole Ideen zusammenbringen und die Erfolgswahrscheinlichkeit erhöhen.“
Video-Tipp: Andreas Tschas über Conxious: „Ein neues Betriebssystem für die Wirtschaft“
Andreas Tschas spricht im Talk über sein Projekt Conxious – eine kuratierte Community, die Vertrauen und innere Klarheit ins Zentrum des wirtschaftlichen Handelns rücken möchte.
Im Gespräch erklärt Tschas, warum Vertrauen ein unterschätzter Produktivitätsfaktor in Unternehmen sei, wie aus tiefen menschlichen Verbindungen nachhaltige Projekte entstehen können und wie ein zukunftsfähiges Betriebssystem für die Wirtschaft aussehen soll.
Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.
Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören
AI Kontextualisierung
Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?
Der Inhalt der Studie zeigt, dass KI-Modelle durch den von ihnen generierten „Müll“ selbst zerstört werden können und dass Unternehmen, die den Zugang zu menschgemachten Inhalten kontrollieren, dadurch einen Vorteil haben. Diese Erkenntnisse könnten Auswirkungen darauf haben, wie KI-Modelle trainiert werden und wer Zugang zu menschgemachten Inhalten hat, was wiederum Auswirkungen auf Wettbewerb und Diskriminierung haben könnte. Außerdem wird deutlich, dass die Vorstellung, KI könne alle Aufgaben besser lösen als Menschen, kritisch hinterfragt werden muss.
Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören
AI Kontextualisierung
Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?
Die Studie eines britisch-kanadischen Forscherteams, die vor kurzem im Open-Access-Journal arXiv erschienen ist, hat gezeigt, dass KI-Modelle nachhaltig geschädigt werden können, wenn sie mit KI-generierten Inhalten trainieren. Dies könnte Unternehmen, die schnell KI-Lösungen in ihre Produkte integrieren wollen, vor große Herausforderungen stellen. Das Problem besteht darin, dass je mehr KI-Inhalte im Internet verfügbar sind, desto weniger menschengemachte Inhalte für die KI-Modelle zum Lernen vorhanden sind. Unternehmen, die bereits den Zugang zu menschengemachten Inhalten kontrollieren, würden einen immensen Vorteil genießen.
Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören
AI Kontextualisierung
Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?
Dieser Artikel warnt Innovationsmanager:innen vor den Risiken beim Einsatz von KI-Modellen in ihren Produkten und Dienstleistungen. Eine Studie zeigt, dass KI-Modelle langfristig beschädigt werden können, wenn sie mit KI-generierten Inhalten trainiert werden, da die Modelle menschengemachte Inhalte benötigen, um weiter zu lernen. Dies kann dazu führen, dass KI-Modelle versagen und nicht mehr in der Lage sind, spezifische Daten oder Zusammenhänge richtig zu erkennen oder zu interpretieren. Innovationsmanager:innen sollten daher vorsichtig sein und sicherstellen, dass die KI-Modelle, die sie verwenden, menschengemachte Inhalte verwenden, um ihre Funktionsweise zu verbessern und langfristige Probleme zu vermeiden.
Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören
AI Kontextualisierung
Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?
Als Investor:in sollten Sie aufmerksam sein, wie KI-Modelle trainiert werden und welche Auswirkungen dies auf deren Qualität und Leistung hat. Die Studie zeigt, dass KI-Modelle durch den Einfluss von KI-generiertem „Müll“ dauerhaft geschädigt werden können. Daher sollten Unternehmen, die KI-basierte Lösungen entwickeln, sicherstellen, dass sie ihre Modelle mit qualitativ hochwertigen menschengemachten Inhalten trainieren, um deren Leistung und Qualität zu sichern.
Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören
AI Kontextualisierung
Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?
Die breite Verfügbarkeit von generativer KI hat den Hype um die Technologie verstärkt, aber eine Studie warnt nun davor, dass KI-Modelle durch ihren eigenen Müll, der in Form von KI-generierten Inhalten im Netz kursiert, nachhaltig geschädigt werden können. Die zunehmende Verbreitung von KI-generierten Inhalten führt dazu, dass die KI-Modelle weniger menschliche Inhalte für das Lernen zur Verfügung haben, und Unternehmen, die den Zugang zu menschlichem Content kontrollieren, haben daher immense Vorteile. Die Studie zeigt auch, dass die KI-Modelle Schwierigkeiten haben, unwahrscheinliche Daten abzubilden, was zu zahlreichen anderen Problemen führen kann, einschließlich Diskriminierung aufgrund von bestimmten Minderheiten-Eigenschaften.