22.11.2022

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

Ein EU-Projekt gegen AI-Diskriminierung und für "multikriteriellen Fairness". Mit dabei: eine österreichische Forscherin des "Complexity Science Hub Vienna"
/artikel/mammoth-ki-tendenz-zur-diskriminierung-durchbrechen
(c) Stock.Adobe/ra2 studio - Science Hub entwickelt dafür sgn. "Fairness-Messungen".

Das Problem beim Einsatz Künstlicher Intelligenz ist, dass sie dazu tendiert, diskriminierende Entscheidungen zu treffen – etwa in der Bildung, bei Bewerbungsverfahren oder in der Werbung. Amazon, als Beispiel, schaffte vor vier Jahren eine KI-Software für die Bewerberauswahl wieder ab, weil die eingebaute AI Frauen benachteiligte. Microsoft nahm seinen Chatbot „Tay“ bereits zwei Jahre davor zurück, nachdem jener rassistische und extremistische Inhalte getwittert hatte. Das Projekt MAMMOth möchte dieses allgemeine Problem nun angehen.

MAMMOth = Multi-Attribute, Multimodal Bias Mitigation in AI Systemen

Denn, Unternehmen, Politik und viele andere Bereiche verlassen sich zunehmend auf Künstliche Intelligenz und treffen auf dieser Grundlage weitreichende Entscheidungen für den Einzelnen und die Gesellschaft.

„Einerseits eröffnet dies enorme Möglichkeiten für verschiedene Sektoren wie Bildung, Bankwesen oder Gesundheitswesen, aber auch auf persönlicher Ebene, zum Beispiel bei Stellenbewerbungen oder beim Targeting von Werbung. Andererseits besteht gerade bei künstlicher Intelligenz (KI) die Gefahr, dass sie die Diskriminierung von Minderheiten und Randgruppen in der Bevölkerung – basierend auf sogenannten geschützten Merkmalen wie Geschlecht, Rasse und Alter – weiter verstärkt“, erklärt Fariba Karimi, Senior Scientist bei „Computational Social Science“ am CSH in Wien.

Der „Science Hub“ entwickelt mit der Wissenschaftlerin sogenannte Fairness-Messungen, die nicht nur ein Attribut wie die Hautfarbe berücksichtigen, sondern mehrere sich überschneidende Attribute wie Geschlecht, Alter und Rasse.

„Wir wollen zum Beispiel, dass unsere Fairness-Messungen nicht nur für Frauen funktionieren, sondern auch für Frauen, die Einwanderer sind oder aus benachteiligten ethnischen Gruppen stammen“, sagt Karimi. Ihr Fokus liegt auf genau dieser „multikriteriellen Fairness“ in Netzwerkdaten – wenn beispielsweise Ungleichheiten daraus resultieren, dass Menschen im Kontext eines zugrunde liegenden Netzwerks unterschiedliche Positionen einnehmen.

Minderheiten sollten in Algorithmen nicht unsichtbar werden

Diskriminierung sei kein neues Problem, aber die Tatsache, dass die KI-Technologie sie weiterhin verstärke, habe zum Aufstieg des fairnessbewussten maschinellen Lernens (ML) als Teil der verantwortungsvollen KI geführt.

Ziel ist die Entwicklung von Modellen des maschinellen Lernens, die einerseits gute Vorhersagen machen, andererseits aber nicht nach geschützten Merkmalen wie Geschlecht oder Rasse diskriminieren.

„Es wurden viele Anstrengungen unternommen, aber bisher haben die vorgeschlagenen Methoden nur eine begrenzte Wirkung und spiegeln nicht die Komplexität und die Anforderungen der realen Anwendungen wider“, so Karimi weiter.

MAMMOth: Zwölf Institute ziehen an einem Strang

Beim EU-Projekt MAMMOth indes entwickeln Experten aus zwölf verschiedenen Institutionen eine innovative, auf Fairness ausgerichtete, datengestützte KI-Grundlage, die die notwendigen Werkzeuge zur Verfügung stellt, um Diskriminierung und Mehrfachdiskriminierung abzuschwächen und die Verantwortlichkeit von KI-Systemen zu gewährleisten.

„Durch die Entwicklung und Umsetzung von multikriteriellen Fairness-Maßnahmen und Abschwächungen wollen wir sicherstellen, dass Minderheiten in Algorithmen nicht sichtbar sind und in Bereichen, die sich bei Entscheidungsprozessen auf Maschinen verlassen, fair behandelt werden“, erklärt Karimi. „Gerechtere Algorithmen bedeuten eine bessere Repräsentation und Vielfalt in der Gesellschaft, was wiederum eine integrativere und gerechtere Gesellschaft bedeutet.“

Zu diesem Zweck wird sich das Projekt von Anfang an aktiv an zahlreiche Gemeinschaften von gefährdeten bzw. unterrepräsentierten Gruppen in der KI-Forschung wenden. Der sogenannte Co-Creation-Ansatz soll dafür sorgen, dass die tatsächlichen Bedürfnisse und Nöte der Nutzer:innen im Mittelpunkt der Forschungsagenda stehen und die Aktivitäten des Projekts leiten.

Die entwickelten Lösungen werden, laut Karimi, folglich in Pilotprojekten in drei relevanten Bereichen (Finanz-/Kreditanwendungen, Identitätsüberprüfungssysteme und akademische Bewertung) demonstriert.

Deine ungelesenen Artikel:
vor 10 Stunden

Codesphere: die europäische Hyperscaler-Alternative ohne eigene Rechenzentren

Mit Codesphere baut Elias Schneider in Deutschland einen virtuellen Cloud-Provider und kann bereits große Regierungsaufträge vorweisen. Im brutkasten-Talk sprach er über sein Scaleup, digitale Souveränität, den Staat als Kunden und Hemmschuhe für europäische Scaleups.
/artikel/codesphere-die-europaeische-hyperscaler-alternative-ohne-eigene-rechenzentren
vor 10 Stunden

Codesphere: die europäische Hyperscaler-Alternative ohne eigene Rechenzentren

Mit Codesphere baut Elias Schneider in Deutschland einen virtuellen Cloud-Provider und kann bereits große Regierungsaufträge vorweisen. Im brutkasten-Talk sprach er über sein Scaleup, digitale Souveränität, den Staat als Kunden und Hemmschuhe für europäische Scaleups.
/artikel/codesphere-die-europaeische-hyperscaler-alternative-ohne-eigene-rechenzentren
Codesphere-Gründer Elias Schneider | (c) brutkasten / Dervisevic
Codesphere-Gründer Elias Schneider | (c) brutkasten / Dervisevic

„Es hat sich noch nie so echt angefühlt, wirklich eine Alternative zu den US-Hyperscalern bauen zu können”, sagt Elias Schneider, Gründer und CEO von Codesphere, im brutkasten-Talk über die aktuelle Dynamik auf dem europäischen Cloud-Markt. Das deutsche Scaleup will mit seinem Modell den großen US-Anbietern die Stirn bieten.

Deutsche Regierungsinstitutionen als Referenzkunden

„Wir bauen einen virtuellen Cloud-Provider, also nicht den gesamten Stack eines Hyperscalers mit Rechenzentren und Servern, sondern quasi nur die Software“, erklärt Schneider. Damit konnte man bereits denkbar namhafte Kunden gewinnen: Das System kommt etwa in unterschiedlichen souveränen Plattformen der deutschen Bundesregierung zum Einsatz. Über das Plattform-Modell funktioniere das Angebot wie ein App-Store für jegliche Infrastruktur, sagt der Gründer. Damit könne Software beschleunigt beschafft und im kritischen Infrastrukturmarkt betrieben werden.

Dass Codesphere als europäischer Technologieanbieter auch im direkten Wettbewerb mit etablierten US-Konzernen bestehen kann, erläutert Schneider an einer kürzlich erfolgten Großausschreibung: „Wir haben gemeinsam mit der Schwarz-Gruppe, der Telekom und anderen Partnern eine Ausschreibung für die KI-Plattform der deutschen Bundesregierung im Wert von 250 Millionen Euro gewonnen – und das auch gegen Google.“ Die zuletzt gewonnenen Rahmenverträge des Unternehmens beliefen sich auf ein Gesamtvolumen von mehr als 500 Millionen Euro. „Das eigentliche Hauptargument, heute keine europäischen Lösungen zu kaufen, ist, dass sie nicht so viele Managed Services anbieten können wie die US-Hyperscaler. Dieses Bundle aufzubrechen, geht nur mit starken Partnerschaften in Europa und wenn wir es schaffen, dass man alles zusammen macht.“

“Einer unserer größten Skalierungs-Blocker”

Die Motivation für die Nutzung souveräner Plattformen begründet Schneider mit zentralen Sicherheits- und Wirtschaftsfragen. „Es geht einmal um Autonomie und darum, dass die Infrastruktur der kritischen Infrastruktur dem Bund gehört und man nicht von US-Lösungen abgeklemmt werden kann.“ Gleichzeitig schränke die Aufsplitterung des europäischen Marktes das Wachstum heimischer Unternehmen bisher stark ein. In den USA existierten einheitliche politische Interessen und dieselbe Regulatorik für einen riesigen Markt. In Europa gebe es hingegen pro Land, Bundesland und Sektor unterschiedliche politische Interessen sowie abweichende Regeln. „Das ist einer unserer größten Skalierungs-Blocker, weil wir in Europa keinen Markt haben, der groß genug ist, um Unternehmen zu bauen, die 100 oder 1.000 Milliarden wert sind. Und das liegt daran, dass wir zu wenig miteinander arbeiten.“

Elias Schneider (r.) im brutkasten-Studio mit Dejan Jovicevic | (c) brutkasten / Dervisevic

Um diese Hürden zu überwinden, spiele die öffentliche Hand als Auftraggeber eine Schlüsselrolle. Vor der veränderten geopolitischen Lage habe sich Codesphere zunächst auf regulatorisch anspruchsvolle Nischen und die kritische Infrastruktur fokussiert – wie etwa beim Gefängnis-Telefoniedienstleister Lawful Intercept oder der Staatsbank Baden-Württemberg. „Bei der kritischen Infrastruktur konnten Kunden aus regulatorischen Gründen nicht mit US-Anbietern arbeiten, weil es zu unflexibel war.“ Als sich die geopolitische Lage drehte und der Wandel einsetzte, profitierte Codesphere davon, dass das eigene Produkt diese strengen Sicherheitsstandards und Zertifizierungen aus den Nischenprojekten bereits erfüllte und gehärtet war.

Er wünsche sich, dass der Staat jungen Unternehmen frühzeitig als verlässlicher Ankerkunde zur Seite stehe, sagt Schneider. „Der Staat kann sehr helfen, gerade bei frühphasigen Startups, um die Sicherheit aufzubauen, dass das Startup nicht in sechs Monaten pleite ist. Es braucht keine Förderungen, sondern echte Aufträge, die dazu führen, dass man die Referenz hat, um den Rest der kritischen Infrastruktur zu gewinnen.“

“Sollten Importweltmeister von europäischen Lösungen werden”

Kritisch bewertet Schneider die europäische Neigung, digitale Souveränität primär über Regulierungen und Risikovermeidung zu definieren. „Wir denken viel zu viel darüber nach, was schiefgehen könnte, wenn wir in moderne Technologie investieren. Unsere Währung ist viel zu sehr Blame und wir haben viel zu viel Angst, etwas falsch zu machen.“ Anstatt sich lediglich auf Anwendungsschichten oder Regularien wie die DSGVO zu beschränken, müsse Europa mutig in Kerntechnologien wie Cloud-Infrastrukturen, Kernfusion oder eigene KI-Modelle investieren.

Schneider erzählt eine Anekdote: Auf einer Konferenz habe eine Meta-Vertreterin gefordert, Europa solle bloß „Adoption-Weltmeister“ werden, worauf sein Chief of Staff sarkastisch gefragt habe, ob man stattdessen “Importweltmeister” werden wolle. Schneider warnt davor, sich mit einer reinen Konsumentenrolle abzufinden: „Ich glaube schon, dass Deutschland Importweltmeister werden sollte, allerdings von europäischen Lösungen.“ Dafür müsse ein offener Binnenmarkt geschaffen werden, damit globale Player entstehen können.

Von den USA zurück nach Europa

Seinen Firmensitz verlegte Codesphere über einen sogenannten Reverse Flip bewusst von den USA als Europäische Aktiengesellschaft nach Europa zurück – vor allem, weil Schneider durch die geopolitische Wende im europäischen Staats- und Sicherheitssektor eine enorme Marktchance sah. Unabhängig davon bleibe der Kapitalmarkt ein Nadelöhr für das Wachstum europäischer Scaleups. Dabei konnte Codesphere selbst bisher rund 40 Millionen Euro an Gesamtkapital aufnehmen – darunter knapp 30 Millionen Euro in einer Series-A-Finanzierungsrunde unter Führung des Investors Creandum.

Dennoch bestehe beim Thema Wachstumskapital in Europa weiterhin Nachholbedarf: „Wir haben wahrscheinlich ungefähr zehn große europäische Wachstumsinvestoren – das ist schlichtweg zu wenig, um als Gründer echten Wettbewerb in den Verhandlungen zu haben.“ Zwar sei es vorübergehend akzeptabel, internationales Kapital ohne Kontrollrechte zu nutzen, doch brauche Europa nachhaltige eigene Strukturen. „Wir brauchen unbedingt einen europäischen Kapitalmarkt, und zwar so schnell es geht. Wir müssen dahin kommen, dass wir einen Börsengang mit einem attraktiven Bewertungsmultiple machen können, was die Börse in Frankfurt heute nicht bietet.“

Trotz der Herausforderungen blickt Schneider aber optimistisch auf die Zukunft des Standorts. Durch grenzüberschreitende Kooperationen und gemeinsame Beschaffung lasse sich das vorhandene Talent in Europa erfolgreich nutzen. „Wir müssen mehr zusammenarbeiten, uns mehr gegenseitig unterstützen, mehr voneinander einkaufen – sowohl politisch als auch in der Industrie.“ Wenn die Politik helfe, Barrieren abzubauen und grenzüberschreitend zusammenzuarbeiten, könnten in Europa auch echte globale Player skalieren.

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen