22.11.2022

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

Ein EU-Projekt gegen AI-Diskriminierung und für "multikriteriellen Fairness". Mit dabei: eine österreichische Forscherin des "Complexity Science Hub Vienna"
/artikel/mammoth-ki-tendenz-zur-diskriminierung-durchbrechen
(c) Stock.Adobe/ra2 studio - Science Hub entwickelt dafür sgn. "Fairness-Messungen".

Das Problem beim Einsatz Künstlicher Intelligenz ist, dass sie dazu tendiert, diskriminierende Entscheidungen zu treffen – etwa in der Bildung, bei Bewerbungsverfahren oder in der Werbung. Amazon, als Beispiel, schaffte vor vier Jahren eine KI-Software für die Bewerberauswahl wieder ab, weil die eingebaute AI Frauen benachteiligte. Microsoft nahm seinen Chatbot „Tay“ bereits zwei Jahre davor zurück, nachdem jener rassistische und extremistische Inhalte getwittert hatte. Das Projekt MAMMOth möchte dieses allgemeine Problem nun angehen.

MAMMOth = Multi-Attribute, Multimodal Bias Mitigation in AI Systemen

Denn, Unternehmen, Politik und viele andere Bereiche verlassen sich zunehmend auf Künstliche Intelligenz und treffen auf dieser Grundlage weitreichende Entscheidungen für den Einzelnen und die Gesellschaft.

„Einerseits eröffnet dies enorme Möglichkeiten für verschiedene Sektoren wie Bildung, Bankwesen oder Gesundheitswesen, aber auch auf persönlicher Ebene, zum Beispiel bei Stellenbewerbungen oder beim Targeting von Werbung. Andererseits besteht gerade bei künstlicher Intelligenz (KI) die Gefahr, dass sie die Diskriminierung von Minderheiten und Randgruppen in der Bevölkerung – basierend auf sogenannten geschützten Merkmalen wie Geschlecht, Rasse und Alter – weiter verstärkt“, erklärt Fariba Karimi, Senior Scientist bei „Computational Social Science“ am CSH in Wien.

Der „Science Hub“ entwickelt mit der Wissenschaftlerin sogenannte Fairness-Messungen, die nicht nur ein Attribut wie die Hautfarbe berücksichtigen, sondern mehrere sich überschneidende Attribute wie Geschlecht, Alter und Rasse.

„Wir wollen zum Beispiel, dass unsere Fairness-Messungen nicht nur für Frauen funktionieren, sondern auch für Frauen, die Einwanderer sind oder aus benachteiligten ethnischen Gruppen stammen“, sagt Karimi. Ihr Fokus liegt auf genau dieser „multikriteriellen Fairness“ in Netzwerkdaten – wenn beispielsweise Ungleichheiten daraus resultieren, dass Menschen im Kontext eines zugrunde liegenden Netzwerks unterschiedliche Positionen einnehmen.

Minderheiten sollten in Algorithmen nicht unsichtbar werden

Diskriminierung sei kein neues Problem, aber die Tatsache, dass die KI-Technologie sie weiterhin verstärke, habe zum Aufstieg des fairnessbewussten maschinellen Lernens (ML) als Teil der verantwortungsvollen KI geführt.

Ziel ist die Entwicklung von Modellen des maschinellen Lernens, die einerseits gute Vorhersagen machen, andererseits aber nicht nach geschützten Merkmalen wie Geschlecht oder Rasse diskriminieren.

„Es wurden viele Anstrengungen unternommen, aber bisher haben die vorgeschlagenen Methoden nur eine begrenzte Wirkung und spiegeln nicht die Komplexität und die Anforderungen der realen Anwendungen wider“, so Karimi weiter.

MAMMOth: Zwölf Institute ziehen an einem Strang

Beim EU-Projekt MAMMOth indes entwickeln Experten aus zwölf verschiedenen Institutionen eine innovative, auf Fairness ausgerichtete, datengestützte KI-Grundlage, die die notwendigen Werkzeuge zur Verfügung stellt, um Diskriminierung und Mehrfachdiskriminierung abzuschwächen und die Verantwortlichkeit von KI-Systemen zu gewährleisten.

„Durch die Entwicklung und Umsetzung von multikriteriellen Fairness-Maßnahmen und Abschwächungen wollen wir sicherstellen, dass Minderheiten in Algorithmen nicht sichtbar sind und in Bereichen, die sich bei Entscheidungsprozessen auf Maschinen verlassen, fair behandelt werden“, erklärt Karimi. „Gerechtere Algorithmen bedeuten eine bessere Repräsentation und Vielfalt in der Gesellschaft, was wiederum eine integrativere und gerechtere Gesellschaft bedeutet.“

Zu diesem Zweck wird sich das Projekt von Anfang an aktiv an zahlreiche Gemeinschaften von gefährdeten bzw. unterrepräsentierten Gruppen in der KI-Forschung wenden. Der sogenannte Co-Creation-Ansatz soll dafür sorgen, dass die tatsächlichen Bedürfnisse und Nöte der Nutzer:innen im Mittelpunkt der Forschungsagenda stehen und die Aktivitäten des Projekts leiten.

Die entwickelten Lösungen werden, laut Karimi, folglich in Pilotprojekten in drei relevanten Bereichen (Finanz-/Kreditanwendungen, Identitätsüberprüfungssysteme und akademische Bewertung) demonstriert.

Deine ungelesenen Artikel:
vor 37 Minuten

Wie ein Popstar: Peter Steinberger und sein VivaTech-Moment zwischen Bezos und Modi

Am zweiten Tag der VivaTech, Europas größtem Tech-Event im Paris Convention Center bei der Porte de Versailles, drängt sich das Who-is-Who der Branche über drei Stockwerke. Mittendrin, gefeiert wie ein Popstar: der Österreicher Peter Steinberger. Eine Reportage über Fans in OpenClaw-Shirts, einen leisen Bühnenauftritt und die Frage, die über der ganzen Messe schwebt.
/artikel/wie-ein-popstar-peter-steinberger-und-sein-vivatech-moment-zwischen-bezos-und-modi
vor 37 Minuten

Wie ein Popstar: Peter Steinberger und sein VivaTech-Moment zwischen Bezos und Modi

Am zweiten Tag der VivaTech, Europas größtem Tech-Event im Paris Convention Center bei der Porte de Versailles, drängt sich das Who-is-Who der Branche über drei Stockwerke. Mittendrin, gefeiert wie ein Popstar: der Österreicher Peter Steinberger. Eine Reportage über Fans in OpenClaw-Shirts, einen leisen Bühnenauftritt und die Frage, die über der ganzen Messe schwebt.
/artikel/wie-ein-popstar-peter-steinberger-und-sein-vivatech-moment-zwischen-bezos-und-modi
Peter Steinberger auf der Bühne des VivaTech Theater in Paris | Foto: Martin Pacher

Es ist der zweite Tag der VivaTech und Paris führt der Tech-Welt vor, wie groß ein Heimspiel sein kann. Seit 2016 lädt die Messe, gegründet von Publicis-Veteran Maurice Lévy und der Les-Echos-Gruppe, einmal im Jahr an die Porte de Versailles. Zur zehnten, der Jubiläumsausgabe, ist sie noch eine Spur größer: Europas wichtigstes Startup- und Tech-Event erwartet rund 180.000 Besucher:innen, 15.000 Startups, 4.000 Investor:innen und mehr als 450 Speaker:innen auf vier Bühnen. Das Leitthema klingt programmatisch: „Artificial Intelligence: impact, not illusion.“ Deutschland ist „Country of the Year“ und schickt die größte Delegation der VivaTech-Geschichte.

Über drei Stockwerke der neuen Halle 7 verteilt sich das Who-is-Who der Branche. Tags zuvor füllte Amazon- und Blue-Origin-Gründer Jeff Bezos, inzwischen auch Co-CEO der KI-Industrieschmiede Prometheus, das große VivaTech Theater. An diesem Donnerstag teilen sich Frankreichs Präsident Emmanuel Macron und Indiens Premierminister Narendra Modi die politische Bühne, Modi frisch vom G7-Gipfel im französischen Evian, wo er mit Donald Trump unter anderem über Künstliche Intelligenz beraten hatte. Dazwischen Konzernlenker:innen von LVMH bis Alibaba, EU-Kommissarin Henna Virkkunen und Deutschlands Digitalminister Karsten Wildberger.

Ein Österreicher unter den „Top Voices“

Wer auf die Website der VivaTech schaut, findet ihn unter den „Top Voices“: Gleich neben Jeff Bezos ist dort Peter Steinberger gelistet. Zwischen all den globalen Namen sticht der gebürtige Oberösterreicher ins Auge. In der Entwickler:innen-Szene seit Jahren als „steipete“ bekannt, hat er mit dem viralen Open-Source-Agenten OpenClaw internationale Bekanntheit erlangt und wird hier auf der VivaTech wie ein Popstar gefeiert. Vom Wiener Startup PSPDFKit, das er mehr als ein Jahrzehnt aufgebaut hatte, ist er längst weitergezogen: Seit Februar gehört er bei OpenAI zum Team rund um den Coding-Agenten Codex.

Peter Steinberger (links) und OpenAI-Manager Thibault Sottiaux beim Panel „The Agentic Enterprise“ auf der VivaTech 2026 in Paris | Foto(c) Martin Pacher | brutkasten

Sein Panel findet im VivaTech Theater statt, dem größten Saal des Geländes. Wer einen Platz will, muss sich lange anstellen. Unter den Wartenden auch Fans, die in OpenClaw-Shirts extra aus Wien angereist sind, um ihr Idol zu sehen.

„Das ist nicht spezifisch fürs Coding“

Auf der Bühne dann ein Mann, der so gar nicht nach Rummel klingt. Steinberger spricht ruhig, zurückhaltend, bescheiden. Neben der technologischen Souveränität ist Agentic AI eines der großen Themen dieser Jubiläumsausgabe, und genau darum dreht sich sein Panel „The Agentic Enterprise: From Software Development to Everyday Work“, gemeinsam mit Thibault Sottiaux, der bei OpenAI Produkt und Plattform verantwortet.

Sottiaux‘ Kernthese: Was einen Coding-Agenten gut mache, sei nicht das Programmieren selbst, sondern die Fähigkeit, breiten Kontext zu erfassen und über lange Zeit präzise auf ein Ziel hinzuarbeiten. „Das ist nicht spezifisch fürs Coding“, sagt er. So solle aus dem Entwickler:innen-Werkzeug Codex ein Agent für Finanz-, Marketing- und Büroarbeit werden. Die Nutzung wachse nach seinen Worten derzeit schneller in Europa als in den USA.

Volles Haus: Peter Steinberger und Thibault Sottiaux (OpenAI) auf dem VivaTech Theater, der größten Bühne der Messe. Hier hatten zuvor auch Jeff Bezos und später Indiens Premierminister Narendra Modi gesprochen, der Saal war bis zum letzten Platz gefüllt | (c) Martin Pacher / brutkasten

Ein Agent für das Haus in Wien

Dann ist Steinberger an der Reihe, und er macht das Abstrakte greifbar, indem er von sich selbst erzählt. Er trenne bewusst mehrere Agenten-Kontexte: einen privaten, der alles über ihn wisse, einen für sein Haus in Wien, mit dem er etwa die Kameras kontrolliere und „manchmal meiner Putzfrau einen Streich spiele“, und einen für die Arbeit. Mit der heutigen Technik liefere ein spezialisierter Agent noch deutlich bessere und vorhersehbarere Ergebnisse als ein einzelner Alleskönner. Je mehr Kontext man dem Modell gebe, desto verlässlicher werde es.

„Das größte Hindernis ist die Vorstellungskraft“

Das größte Hindernis sei ohnehin nicht die Technik, sondern die Vorstellungskraft, „imagination“, wie er sagt. Die Lücke zwischen dem, was die Modelle könnten, und dem, was Menschen tatsächlich mit ihnen anstellten, sei so groß wie nie. Selbst ein Werkzeug wie OpenClaw hätte Monate früher entstehen können, sei aber schlicht niemandem eingefallen. Er verweist auf seinen eigenen, anfangs belächelten Blogpost vom Jahresende, in dem er beschrieb, Code zu schreiben, ohne ihn überhaupt zu lesen. Für das Jahr 2030 entwirft er daraus ein radikales Bild: eine Milliarde Programmierer:innen, die nicht wüssten, dass sie programmieren, weil sie ihre Agenten nur noch um Lösungen bäten.

Peter Steinberger unter seinen Fans bei der VivaTech 2026 in Paris. Fotos: brutkasten / Martin Pacher

Die Europa-Pointe zum Schluss

Und dann, fast beiläufig, die Pointe, die über der ganzen Messe schwebt. Auf Europa angesprochen, sagt ausgerechnet jener Mann, der zuletzt mit Verweis auf zu viel Regulierung in die USA gezogen ist, er liebe es, „dass wir Mistral haben“. In europäischen Startups stecke etwas „zutiefst Menschliches“, sie seien „in etwas Realem verwurzelt“. Als die Moderatorin fragt, ob er eines Tages zurückkehre, weicht Steinberger aus: „Vielleicht. Ich bin ohnehin ständig hier.“

Am Ende steigt er von der Bühne und wird sofort von Fans umzingelt, die Handys gezückt, Selfie um Selfie, bis das Sicherheitspersonal dazwischengeht. Peter lächelt und lässt den Rummel um seine Person über sich ergehen. Hinaus geht es schließlich über einen Seitenausgang.

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen