14.06.2023

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

Eine neue Studie trübt die Hoffnungen, die in generative KI gesetzt werden. Durch zu viele KI-Inhalte im Internet könnten die Modelle verlernen, was hochwertiger Content ist.
/artikel/ki-modelle-koennen-sich-selbst-zerstoeren
Am Beispiel von blauen Katzen lässt sich erklären, wie KI-Modelle versagen. Bild: Unsplash/Rémi Rémino

Obwohl die Tech-Welt seit Jahren vor KI warnt, sind ihre Fähigkeiten erst letztes Jahr in den Fokus einer breiteren Öffentlichkeit gerückt: Generative KI ermöglicht es, mit wenigen Klicks kreative KI-Leistungen schnell verfügbar zu machen. Konkret heißt das: KI-Chatbots wie ChatGPT forumlieren auf Befehl eloquente Texte, können programmieren und verschiedene sprachliche Tasks im Nu erledigen. Bilderzeugungs-Tools wie Stable Diffusion oder Midjourney erzeugen auf Knopfdruck fotorealisitische Bilder.

Studie warnt vor Qualitätsverlust

Viele Unternehmen haben es plötzlich sehr eilig: Schnellstmöglich wollen sie KI-Lösungen in ihre Produkte implementieren, wie jüngst Mark Zuckerberg für Meta verkündete. Die Hoffnungen und Erwartungen, die in KI-Modelle gesetzt werden, sind riesig.

Die Studie eines britisch-kanadischen Forscherteams, die vor kurzem im Open-Access-Journal arXiv erschienen ist, könnte den KI-Hype jedoch etwas trüben. Sie kommt zu dem Ergebnis, dass KI-Modelle nachhaltig geschädigt werden können, wenn sie mit KI-generierten Inhalten trainieren. Denn laut den Studienautor:innen, seien die KI-Modelle derzeit vor allem deshalb so stark, weil sie mit menschengemachten Inhalten trainiert sind.

Internet als KI-Mülldeponie

„Wir waren überrascht zu sehen, wie schnell ein Modell wieder zusammenbricht. Die Modelle können die meisten Originaldaten, aus denen sie ursprünglich gelernt haben, schnell vergessen“, meinte der am Projekt beteiligte Forscher Ilia Shumailov gegenüber VentureBeat. In einem Blog-Artikel warnt Ross Anderson, ein weiterer beiteiligter Forscher: „So wie wir die Ozeane mit Plastik vermüllt und die Atmosphäre mit Kohlendioxid gefüllt haben, sind wir nun dabei, das Internet mit Blabla zu füllen. Dadurch wird es schwieriger, neuere Modelle durch Webscraping zu trainieren“.

Das Problem: Je mehr KI-Inhalte im Internet kursieren, desto weniger seien menschliche Inhalte für die KI-Modelle zum Lernen verfügbar. Anderson zufolge hätten Unternehmen, die das Internet bereits gescraped haben, bzw. die den Zugang zu menschengemachten Inhalten kontrollierten, nun immense Vorteile: „Wir sehen bereits jetzt, dass KI-Startups das Internet Archive nach historischen Daten durchsuchen“. Denn bereits jetzt sei das Netz bereits mit KI-generiertem „Müll“ kontaminiert.

Problem mit blauen Katzen

Shumailov skizziert das Problem gegenüber VentureBeat folgendermaßen: Menschengemachte Dokumente, egal ob Bilder, Texte, Musik oder andere kreative Leistungen, würden die Welt umfassender beschreiben und auch unwahrscheinlichere Fälle abbilden. KI-Modelle hingegen wählen Daten nach Wahrscheinlichkeitskriterien aus: Werden bestimmte Daten häufiger vorgefunden als andere, werden die unwahrscheinlicheren eher verworfen.

Gut zu beschreiben sei dies anhand eines Datensets aus Katzenbildern. Wird ein KI-Modell mit Bildern von 10 blauen Katzen und 90 gelben Katzen trainiert, erkennt die KI, dass gelbe Katzen mit höherer Wahrscheinlichkeit „richtig“ sind. In der Folge produziert die KI selbst grünstichige Katzenbilder, wenn sie Katzen mit blauem Fell darstellen soll. Im Laufe der Zeit produziere sie überhaupt keine blauen Katzen mehr, sondern nur mehr gelbe.

Das Beispiel zeige laut Shumailov, dass die KI-Modelle Probleme mit unwahrscheinlicheren Daten hätten. Im Laufe der Zeit würden die Modelle somit versagen, meint der Forscher. Darüber hinaus entstünden dadurch zahlreiche Probleme, etwa Diskriminierung aufgrund bestimmter Minderheiten-Eigenschaften.

Deine ungelesenen Artikel:
15.09.2026

KI im Investmentprozess: Wie Viessmann sein Deal-Screening beschleunigt

Nach dem zwölf Milliarden Euro schweren Verkauf des Heizungsgeschäfts an Carrier investiert die Viessmann Generations Group mittlerweile langfristig in eine breit aufgestellte Unternehmensgruppe. Nun baut das Familienunternehmen gemeinsam mit iteratec ein Multi-Agenten-System, das die Qualität von Investmententscheidungen maßgeblich verbessern soll: Alexander Pöllmann, Director IT & Digital von Viessmann, und Michael Maier, Director Austria von iteratec, geben im brutkasten-Gespräch einen Einblick.
/artikel/wie-viessmann-sein-deal-screening-mit-ki-umbaut
15.09.2026

KI im Investmentprozess: Wie Viessmann sein Deal-Screening beschleunigt

Nach dem zwölf Milliarden Euro schweren Verkauf des Heizungsgeschäfts an Carrier investiert die Viessmann Generations Group mittlerweile langfristig in eine breit aufgestellte Unternehmensgruppe. Nun baut das Familienunternehmen gemeinsam mit iteratec ein Multi-Agenten-System, das die Qualität von Investmententscheidungen maßgeblich verbessern soll: Alexander Pöllmann, Director IT & Digital von Viessmann, und Michael Maier, Director Austria von iteratec, geben im brutkasten-Gespräch einen Einblick.
/artikel/wie-viessmann-sein-deal-screening-mit-ki-umbaut
Alexander Pöllmann, Director IT & Digital bei der Viessmann Generations Group, und Michael Maier, Director Austria von iteratec (v.l.) | (c) iteratec / beigestellt

Es war eine der bemerkenswertesten Transformationen der deutschen Industrie: 2023 verkaufte Viessmann sein Kerngeschäft, die Klimasparte Viessmann Climate Solutions, für zwölf Milliarden Euro an den US-Konzern Carrier (brutkasten berichtete). Seit Anfang 2024 agiert das Familienunternehmen als Unternehmensgruppe, die aus Deutschland ein globales industrielles Beteiligungsportfolio steuert. Und dieses Kernteam soll nun KI-nativ werden: Gemeinsam mit dem Technologieunternehmen iteratec baut Viessmann ein Multi-Agenten-System, das die Mitarbeiter:innen zu “Buildern von Agenten” verändert.

Vom Heizungsbauer zum langfristigen Unternehmensentwickler  

Das reinvestierte Kapital floss vor allem in industrielle Mittelständler mit Fokus auf nachhaltige Energietransformation: von Grid-Infrastruktur über Fernwärme- und Kühlungslösungen bis zu Kühlhäusern. Dazu zählt etwa die isoplus-Gruppe, ein Hersteller von Nah- und Fernwärmeleitungen mit großen Standorten in Österreich. Über Minderheitsbeteiligungen ist Viessmann außerdem unter anderem an Encavis sowie am Software-Unternehmen AMCS beteiligt, das Emissionen in der Recycling- und Abfallwirtschaft reduzieren soll. 

Beim Thema KI unterscheidet Pöllmann klar zwischen zwei Ebenen: „Wenn wir auf unsere Partner schauen, ist der Kerntreiber klassischerweise Effizienz, also Use Cases entlang der Wertschöpfungskette, um Top- oder Bottom-Line-Potenziale einzusammeln. Auf Ebene des Viessmann-Teams schauen wir viel stärker auf Effektivität: Wie können wir noch bessere Investmententscheidungen treffen und unsere zentrale Entscheidungsqualität maßgeblich erhöhen?“ 

Deal-Screening statt Deal-Sourcing 

Genau das sei allerdings die schwierigere Disziplin, so Pöllmann: „Effizienz-Use-Cases sind aus unserer Sicht häufig leichter, als die Qualität zu erhöhen. KI tendiert in ihrer ursprünglichsten Natur dazu, lieber zu halluzinieren und ungenau zu sein, als eine sehr klare Antwort auf die Frage zu geben: Sollte ich dieses Investment tätigen oder lieber nicht? Welche Risiken habe ich noch nicht gesehen?“ Dies bedingt vor allem den ganzen Kontext einer Transaktion zu kennen. 

Konkret setzt das Multi-Agenten-System deshalb dort an, wo Präzision zählt: beim Screening. Es gehe nicht darum, Deals zu sourcen, betont Pöllmann, sondern den Prozess „Ist ein Deal für uns wirklich relevant?“ deutlich zu verkürzen. Ein Letter of Intent könne so viel schneller analysiert und daraus ein Investmentmemo gebaut werden, angereichert mit weiteren Quellen. 

Dass das Viessmann-Team das System selbst baut, statt auf eine Fertiglösung zu setzen, ist für Pöllmann eine Grundsatzentscheidung: „Wir wollen die Governance in der eigenen Hand haben, aber auch den Prozess, wie wir zu Entscheidungen kommen.“ Fertige KI-Finanzlösungen von der Stange würden der Organisation wenig bringen: „Das ist zwar alles nett und funktioniert auch schnell, aber nicht in der Qualität, wie wir sie erwarten.“ 

Jede:r Mitarbeiter:in wird zum „Builder“ 

Der vielleicht radikalste Teil des Ansatzes: Alle Mitarbeiter:innen der Viessmann Generations Group sollen befähigt werden, selbst KI-Agenten zu bauen. Der Prozess dahinter ist mehrstufig: Ein Intake-Agent nimmt die Idee auf und schärft sie, ein Specification-Agent zieht anschließend das nötige Fachwissen aus den Mitarbeiter:innen heraus und gibt erst ab einem bestimmten Confidence Score grünes Licht. Danach erstellt ein weiterer Agent, der sogenannte Agent-Builder, den fertigen KI-Kollegen. 

Gestartet wurde Ende Jänner mit einem „Hypersprint“, die ersten Prozessagenten gingen im Frühjahr live. „Es ist schon verrückt, was wir in der Zeit entwickelt haben“, sagt Pöllmann. Die größte Herausforderung sei dabei nicht die Technologie: „Die Herausforderung ist wirklich, das Wissen der Kolleg:innen “freizulegen” und die Leute, die verantwortlich sind, in die Verantwortung zu bekommen. So können wir dann gemeinsam den Input, den wir brauchen, identifizieren, um daraus vernünftige Agenten mit hoher Output-Qualität zu bauen.“ 

„Die Rolle des Menschen in der KI-Transformation wird maßgeblich“ 

Bei aller Automatisierung bleibt die Verantwortung beim Menschen, stellt Pöllmann klar: „Am Ende braucht es immer einen Verantwortlichen, und das kann nicht die Maschine sein. Dadurch wird vor allem die Rolle des Menschen in der KI-Transformation maßgeblich gestärkt.“ Wer einen Agenten verantwortet, müsse dessen Ergebnisse kontrollieren, ihn testen und etwa bei der Abkündigung eines KI-Modells nachjustieren. „Damit bekommt jeder in gewisser Weise eine Führungsaufgabe“, so Pöllmann. 

Um den Rollenwandel greifbar zu machen, ließ Viessmann die Mitarbeiter:innen ein eigenes „Role Canvas“ ausfüllen: Was bleibt an Verantwortung beim Menschen, wenn KI-Agenten übernehmen? Das habe viel Verständnis für die Transformation geschaffen, auch bei jenen, deren Berufsbild sich am stärksten verändert. Denn das klassische Profil eines Investmentbankers werde sich fundamental drehen, so Pöllmann. Die Betroffenen hätten das Thema allerdings „sehr gut aufgeschnappt und zeigen große Begeisterung dafür“. 

iteratec: „Die Unschärfe reduzieren“ 

Auf der Umsetzungsseite steht mit iteratec ein Software-Dienstleister, der seit 30 Jahren Individualsoftware entwickelt und sich zunehmend auf KI-Transformation fokussiert. „Unser eigenes Geschäft ändert sich aktuell selbst radikal aufgrund von KI“, sagt Michael Maier, Director Austria von iteratec. Das Unternehmen setzt Multi-Agenten-Projekte unter anderem bei Banken um und hat mit dem Recycling-Konzern Ragn-Sells ein neues Recyclingverfahren auf Basis KI-gestützter Materialanalysen entwickelt. Das Viessmann-Projekt sei „mitunter eines der spannendsten, das wir gerade machen dürfen“, so Maier: „Das nimmt sicher eine Vorreiterrolle ein.“ 

Die Kunst liege darin, schnell voranzukommen und trotzdem verlässliche Resultate zu liefern: „Du musst die Unschärfe so weit reduzieren, dass du dort, wo es wichtig ist, belastbare Ergebnisse hast, mit denen du arbeiten kannst“, sagt Maier. Viessmann kam über einen klassischen Anbieterauswahlprozess zu iteratec. Ausschlaggebend sei das Team gewesen, so Pöllmann: „Ein sehr professionell aufgestelltes Team mit High-End-AI-Capabilities. Die Entwickler sind fast AI-native unterwegs.” 

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Der Inhalt der Studie zeigt, dass KI-Modelle durch den von ihnen generierten „Müll“ selbst zerstört werden können und dass Unternehmen, die den Zugang zu menschgemachten Inhalten kontrollieren, dadurch einen Vorteil haben. Diese Erkenntnisse könnten Auswirkungen darauf haben, wie KI-Modelle trainiert werden und wer Zugang zu menschgemachten Inhalten hat, was wiederum Auswirkungen auf Wettbewerb und Diskriminierung haben könnte. Außerdem wird deutlich, dass die Vorstellung, KI könne alle Aufgaben besser lösen als Menschen, kritisch hinterfragt werden muss.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Die Studie eines britisch-kanadischen Forscherteams, die vor kurzem im Open-Access-Journal arXiv erschienen ist, hat gezeigt, dass KI-Modelle nachhaltig geschädigt werden können, wenn sie mit KI-generierten Inhalten trainieren. Dies könnte Unternehmen, die schnell KI-Lösungen in ihre Produkte integrieren wollen, vor große Herausforderungen stellen. Das Problem besteht darin, dass je mehr KI-Inhalte im Internet verfügbar sind, desto weniger menschengemachte Inhalte für die KI-Modelle zum Lernen vorhanden sind. Unternehmen, die bereits den Zugang zu menschengemachten Inhalten kontrollieren, würden einen immensen Vorteil genießen.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Dieser Artikel warnt Innovationsmanager:innen vor den Risiken beim Einsatz von KI-Modellen in ihren Produkten und Dienstleistungen. Eine Studie zeigt, dass KI-Modelle langfristig beschädigt werden können, wenn sie mit KI-generierten Inhalten trainiert werden, da die Modelle menschengemachte Inhalte benötigen, um weiter zu lernen. Dies kann dazu führen, dass KI-Modelle versagen und nicht mehr in der Lage sind, spezifische Daten oder Zusammenhänge richtig zu erkennen oder zu interpretieren. Innovationsmanager:innen sollten daher vorsichtig sein und sicherstellen, dass die KI-Modelle, die sie verwenden, menschengemachte Inhalte verwenden, um ihre Funktionsweise zu verbessern und langfristige Probleme zu vermeiden.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Als Investor:in sollten Sie aufmerksam sein, wie KI-Modelle trainiert werden und welche Auswirkungen dies auf deren Qualität und Leistung hat. Die Studie zeigt, dass KI-Modelle durch den Einfluss von KI-generiertem „Müll“ dauerhaft geschädigt werden können. Daher sollten Unternehmen, die KI-basierte Lösungen entwickeln, sicherstellen, dass sie ihre Modelle mit qualitativ hochwertigen menschengemachten Inhalten trainieren, um deren Leistung und Qualität zu sichern.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Die breite Verfügbarkeit von generativer KI hat den Hype um die Technologie verstärkt, aber eine Studie warnt nun davor, dass KI-Modelle durch ihren eigenen Müll, der in Form von KI-generierten Inhalten im Netz kursiert, nachhaltig geschädigt werden können. Die zunehmende Verbreitung von KI-generierten Inhalten führt dazu, dass die KI-Modelle weniger menschliche Inhalte für das Lernen zur Verfügung haben, und Unternehmen, die den Zugang zu menschlichem Content kontrollieren, haben daher immense Vorteile. Die Studie zeigt auch, dass die KI-Modelle Schwierigkeiten haben, unwahrscheinliche Daten abzubilden, was zu zahlreichen anderen Problemen führen kann, einschließlich Diskriminierung aufgrund von bestimmten Minderheiten-Eigenschaften.

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

  • Ilia Shumailov
  • Ross Anderson
  • Mark Zuckerberg

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

  • Meta
  • Internet Archive

Studie: KI-Modelle können sich durch ihren eigenen Müll selbst zerstören