22.11.2022

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

Ein EU-Projekt gegen AI-Diskriminierung und für "multikriteriellen Fairness". Mit dabei: eine österreichische Forscherin des "Complexity Science Hub Vienna"
/artikel/mammoth-ki-tendenz-zur-diskriminierung-durchbrechen
(c) Stock.Adobe/ra2 studio - Science Hub entwickelt dafür sgn. "Fairness-Messungen".

Das Problem beim Einsatz Künstlicher Intelligenz ist, dass sie dazu tendiert, diskriminierende Entscheidungen zu treffen – etwa in der Bildung, bei Bewerbungsverfahren oder in der Werbung. Amazon, als Beispiel, schaffte vor vier Jahren eine KI-Software für die Bewerberauswahl wieder ab, weil die eingebaute AI Frauen benachteiligte. Microsoft nahm seinen Chatbot „Tay“ bereits zwei Jahre davor zurück, nachdem jener rassistische und extremistische Inhalte getwittert hatte. Das Projekt MAMMOth möchte dieses allgemeine Problem nun angehen.

MAMMOth = Multi-Attribute, Multimodal Bias Mitigation in AI Systemen

Denn, Unternehmen, Politik und viele andere Bereiche verlassen sich zunehmend auf Künstliche Intelligenz und treffen auf dieser Grundlage weitreichende Entscheidungen für den Einzelnen und die Gesellschaft.

„Einerseits eröffnet dies enorme Möglichkeiten für verschiedene Sektoren wie Bildung, Bankwesen oder Gesundheitswesen, aber auch auf persönlicher Ebene, zum Beispiel bei Stellenbewerbungen oder beim Targeting von Werbung. Andererseits besteht gerade bei künstlicher Intelligenz (KI) die Gefahr, dass sie die Diskriminierung von Minderheiten und Randgruppen in der Bevölkerung – basierend auf sogenannten geschützten Merkmalen wie Geschlecht, Rasse und Alter – weiter verstärkt“, erklärt Fariba Karimi, Senior Scientist bei „Computational Social Science“ am CSH in Wien.

Der „Science Hub“ entwickelt mit der Wissenschaftlerin sogenannte Fairness-Messungen, die nicht nur ein Attribut wie die Hautfarbe berücksichtigen, sondern mehrere sich überschneidende Attribute wie Geschlecht, Alter und Rasse.

„Wir wollen zum Beispiel, dass unsere Fairness-Messungen nicht nur für Frauen funktionieren, sondern auch für Frauen, die Einwanderer sind oder aus benachteiligten ethnischen Gruppen stammen“, sagt Karimi. Ihr Fokus liegt auf genau dieser „multikriteriellen Fairness“ in Netzwerkdaten – wenn beispielsweise Ungleichheiten daraus resultieren, dass Menschen im Kontext eines zugrunde liegenden Netzwerks unterschiedliche Positionen einnehmen.

Minderheiten sollten in Algorithmen nicht unsichtbar werden

Diskriminierung sei kein neues Problem, aber die Tatsache, dass die KI-Technologie sie weiterhin verstärke, habe zum Aufstieg des fairnessbewussten maschinellen Lernens (ML) als Teil der verantwortungsvollen KI geführt.

Ziel ist die Entwicklung von Modellen des maschinellen Lernens, die einerseits gute Vorhersagen machen, andererseits aber nicht nach geschützten Merkmalen wie Geschlecht oder Rasse diskriminieren.

„Es wurden viele Anstrengungen unternommen, aber bisher haben die vorgeschlagenen Methoden nur eine begrenzte Wirkung und spiegeln nicht die Komplexität und die Anforderungen der realen Anwendungen wider“, so Karimi weiter.

MAMMOth: Zwölf Institute ziehen an einem Strang

Beim EU-Projekt MAMMOth indes entwickeln Experten aus zwölf verschiedenen Institutionen eine innovative, auf Fairness ausgerichtete, datengestützte KI-Grundlage, die die notwendigen Werkzeuge zur Verfügung stellt, um Diskriminierung und Mehrfachdiskriminierung abzuschwächen und die Verantwortlichkeit von KI-Systemen zu gewährleisten.

„Durch die Entwicklung und Umsetzung von multikriteriellen Fairness-Maßnahmen und Abschwächungen wollen wir sicherstellen, dass Minderheiten in Algorithmen nicht sichtbar sind und in Bereichen, die sich bei Entscheidungsprozessen auf Maschinen verlassen, fair behandelt werden“, erklärt Karimi. „Gerechtere Algorithmen bedeuten eine bessere Repräsentation und Vielfalt in der Gesellschaft, was wiederum eine integrativere und gerechtere Gesellschaft bedeutet.“

Zu diesem Zweck wird sich das Projekt von Anfang an aktiv an zahlreiche Gemeinschaften von gefährdeten bzw. unterrepräsentierten Gruppen in der KI-Forschung wenden. Der sogenannte Co-Creation-Ansatz soll dafür sorgen, dass die tatsächlichen Bedürfnisse und Nöte der Nutzer:innen im Mittelpunkt der Forschungsagenda stehen und die Aktivitäten des Projekts leiten.

Die entwickelten Lösungen werden, laut Karimi, folglich in Pilotprojekten in drei relevanten Bereichen (Finanz-/Kreditanwendungen, Identitätsüberprüfungssysteme und akademische Bewertung) demonstriert.

Deine ungelesenen Artikel:
vor 15 Stunden

Zyglox: Grazer Startup holt Sensortechnik aus dem All auf die Schiene

Das Grazer Startup Zyglox misst Belastungen an Radsätzen von Zügen berührungslos mit Sensorik aus der Raumfahrt. Gefördert wird es von der Austria Wirtschaftsservice (aws). Wir haben mit Gründer Jakob Moder gesprochen.
/artikel/zyglox-grazer-startup-holt-sensortechnik-aus-dem-all-auf-die-schiene
vor 15 Stunden

Zyglox: Grazer Startup holt Sensortechnik aus dem All auf die Schiene

Das Grazer Startup Zyglox misst Belastungen an Radsätzen von Zügen berührungslos mit Sensorik aus der Raumfahrt. Gefördert wird es von der Austria Wirtschaftsservice (aws). Wir haben mit Gründer Jakob Moder gesprochen.
/artikel/zyglox-grazer-startup-holt-sensortechnik-aus-dem-all-auf-die-schiene
Das Zyglox-Team in Graz, in der Mitte die Gründer Jakob Moder (links) und Erik Gerstl (rechts). © Zyglox

Rund die Hälfte der Lifecycle-Kosten eines Zuges entfällt auf die Wartung, und davon wiederum mehr als die Hälfte auf Räder, Achsen und Fahrwerk, sagt Jakob Moder. Wie stark diese Bauteile im Betrieb tatsächlich belastet werden, wird bisher aber kaum gemessen. Der Grund ist simpel: Es fehlt an präziser Messtechnik, die im Dauerbetrieb einsetzbar ist. Das Grazer Startup Zyglox will das ändern.

„Die Eisenbahn ist nicht ins 21. Jahrhundert gekommen“

Der Name ist ein Wortspiel: Zyglox, gesprochen „Zügloks“, steht für Messtechnik für Züge und Loks. Dahinter stehen Jakob Moder und Erik Gerstl, die zuvor gemeinsam in der Messtechnik gearbeitet haben. Moder wechselte später in den Eisenbahnbereich und erlebte die Lücke dort aus der Praxis. Was es brauche, sei eine Lösung, „die das einerseits zuverlässig erkennt und gleichzeitig gut applizierbar ist“. Sein Urteil: „Bei der Usability ist die Eisenbahn nicht ins 21. Jahrhundert gekommen.“ Ende 2023 gründeten die beiden Techniker Zyglox in Graz.

Die bisherige Methode mit Dehnmessstreifen sei „einfach zu teuer“, erklärt Moder. Der Zug müsse dafür ein bis zwei Wochen zerlegt und instrumentiert werden, deshalb passiere das nur bei der Zulassung. „Das dauert ein Jahr, diese Technik reinzubringen, die Zulassung durchzuführen, und dann wird es wieder rausgenommen.“ Im laufenden Betrieb bleiben nur Beschleunigungssensoren, wie sie auch in jedem Smartphone stecken. „Das ist von der Datenqualität her ganz was anderes. Unser Sensor ist wie 4K, der Beschleunigungssensor liefert ein verpixeltes Foto von den Zuständen.“

Ein Sensor für Zulassung und Dauerbetrieb

Die Lösung von Zyglox lässt sich ohne größere Änderungen am Bauteil anbringen. „Wir haben eine Plug-and-Play-Lösung, die kann man einfach aufstecken“, sagt Moder. Ein Techniker braucht dafür laut Zyglox 30 Minuten. Der Sensor messe Dehnungen an Achsen, Wellen oder Schienen und liefere „gleiche oder bessere Daten als die Lösungen bisher“. Das Ziel ist ein Universalwerkzeug: genau genug für die Zulassung, aber so ausgelegt, dass es danach auf dem Fahrzeug bleibt und die Kräfte im Rad-Schiene-Kontakt dauerhaft erfasst. „Da gibt es ein großes Anwendungsfeld, denn damit wird auch die Infrastruktur überwacht“, so Moder.

Jeden Tag werden auf der Schiene hunderttausende Kilometer zurückgelegt. Zyglox will jeden davon nutzbar machen, um zu lernen, zu verbessern und vorherzusagen. Mit herkömmlichen Methoden war das Erfassen dieser Daten bisher zu teuer, zu langsam und zu aufwendig. © Zyglox

Physik aus dem Trafo, Sensoren aus dem Weltraum

Technisch nutzt Zyglox hochsensitive Magnetfeldsensoren aus der Raumfahrt, das Startup ist Teil eines Downstream-Programms der ESA. Das Prinzip erklärt Moder am Transformator: Der brummt, weil das Magnetfeld des Wechselstroms den Stahl minimal dehnt. „Und wir machen das Umgekehrte: Wenn sich der Stahl dehnt, ändert sich sein Magnetfeld in der Umgebung.“ Ein aktives Messverfahren berücksichtigt dabei den linearen Zusammenhang zwischen Belastung und Sensorsignal. Die Technologie ist patentiert, entwickelt und montiert wird in Graz.

Betreiber als Kunden, Wartung als Hebel

Als primäre Kunden sieht Zyglox die Bahnbetreiber, bei denen die Wartungskosten anfallen. Dazu kommt die Sicherheit: „Es gibt viele Vorfälle, die vielleicht nicht zu einem Unfall führen, wo man aber trotzdem sicherer und zuverlässiger unterwegs wäre, wenn man gutes Condition Monitoring hat.“

Ein kleines Pilotprojekt ist bereits abgeschlossen. Für 2027 ist der Einbau des Systems in Fahrzeuge im regulären Streckenbetrieb geplant, zunächst als Prototyp für einige Wochen Messung. Danach folgt die Zulassung. Ende 2027 soll daraus ein fertiges Produkt werden, erst dann könne die Skalierung beginnen, sagt Moder. An Interesse mangelt es nicht: „Wir können gar nicht alle Pilotprojekte machen“, weil Sensorentwicklung samt Software personalintensiv sei. Ende September zeigt das Team den Prototyp auf der InnoTrans in Berlin, der größten Messe für Schienenfahrzeuge.

Mit aws Preseed und aws Seed vom Effekt zum Produkt

Finanziert hat sich Zyglox bisher aus eigenen Mitteln und über die Austria Wirtschaftsservice (aws). Mit aws Preseed, konkret im Programm „aws Preseed | Seedfinacing – Deep Tech“, hat das Startup die ersten eineinhalb Jahre an der Sensortechnologie getüftelt. „Es hat uns die Möglichkeit gegeben, eine Idee, die bereits validiert war, einfach zu erproben. Einfach Zeit zu haben, weil Hardware dauert ein bisschen, etwa Prototypen zu iterieren“, sagt Moder. Es sei vor allem darum gegangen, „sicherzustellen, dass das dann ein Produkt werden kann“. Seit Mitte 2025 ist Zyglox im Seed-Programm der aws, das voraussichtlich bis Anfang 2028 läuft. Das Team ist inzwischen auf rund sieben Personen gewachsen. Für die Skalierungsphase im kommenden Jahr will sich das Startup nach Investoren umsehen: „Wenn eine Bestellung eintritt oder größer wird, werden wir das mit den aktuellen Mitteln wahrscheinlich nicht mehr stemmen können.“

Standortvorteil Graz

Den Standort Graz sieht Moder als klaren Vorteil: Siemens fertigt hier Fahrwerke, dazu kommen Messdienstleister, Prüfstandbauer und Nextsense. Zyglox sitzt direkt am Campus der TU Graz, mit Zugang zu Prüfständen der Universität und Maschinen der voestalpine. „Die gesamte Infrastruktur ist einzigartig“, sagt Moder. „Im Silicon Valley könnten wir das Produkt wahrscheinlich nicht entwickeln, in Österreich geht es besser. Das ist eigentlich ein bisschen verrückt, aber wir haben hier die optimalen Bedingungen.“


Disclaimer: Dieser Artikel ist im Rahmen einer Medienkooperation mit der Austria Wirtschaftsservice (aws) entstanden.

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen