22.11.2022

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

Ein EU-Projekt gegen AI-Diskriminierung und für "multikriteriellen Fairness". Mit dabei: eine österreichische Forscherin des "Complexity Science Hub Vienna"
/artikel/mammoth-ki-tendenz-zur-diskriminierung-durchbrechen
(c) Stock.Adobe/ra2 studio - Science Hub entwickelt dafür sgn. "Fairness-Messungen".

Das Problem beim Einsatz Künstlicher Intelligenz ist, dass sie dazu tendiert, diskriminierende Entscheidungen zu treffen – etwa in der Bildung, bei Bewerbungsverfahren oder in der Werbung. Amazon, als Beispiel, schaffte vor vier Jahren eine KI-Software für die Bewerberauswahl wieder ab, weil die eingebaute AI Frauen benachteiligte. Microsoft nahm seinen Chatbot “Tay” bereits zwei Jahre davor zurück, nachdem jener rassistische und extremistische Inhalte getwittert hatte. Das Projekt MAMMOth möchte dieses allgemeine Problem nun angehen.

MAMMOth = Multi-Attribute, Multimodal Bias Mitigation in AI Systemen

Denn, Unternehmen, Politik und viele andere Bereiche verlassen sich zunehmend auf Künstliche Intelligenz und treffen auf dieser Grundlage weitreichende Entscheidungen für den Einzelnen und die Gesellschaft.

“Einerseits eröffnet dies enorme Möglichkeiten für verschiedene Sektoren wie Bildung, Bankwesen oder Gesundheitswesen, aber auch auf persönlicher Ebene, zum Beispiel bei Stellenbewerbungen oder beim Targeting von Werbung. Andererseits besteht gerade bei künstlicher Intelligenz (KI) die Gefahr, dass sie die Diskriminierung von Minderheiten und Randgruppen in der Bevölkerung – basierend auf sogenannten geschützten Merkmalen wie Geschlecht, Rasse und Alter – weiter verstärkt”, erklärt Fariba Karimi, Senior Scientist bei “Computational Social Science” am CSH in Wien.

Der “Science Hub” entwickelt mit der Wissenschaftlerin sogenannte Fairness-Messungen, die nicht nur ein Attribut wie die Hautfarbe berücksichtigen, sondern mehrere sich überschneidende Attribute wie Geschlecht, Alter und Rasse.

“Wir wollen zum Beispiel, dass unsere Fairness-Messungen nicht nur für Frauen funktionieren, sondern auch für Frauen, die Einwanderer sind oder aus benachteiligten ethnischen Gruppen stammen”, sagt Karimi. Ihr Fokus liegt auf genau dieser “multikriteriellen Fairness” in Netzwerkdaten – wenn beispielsweise Ungleichheiten daraus resultieren, dass Menschen im Kontext eines zugrunde liegenden Netzwerks unterschiedliche Positionen einnehmen.

Minderheiten sollten in Algorithmen nicht unsichtbar werden

Diskriminierung sei kein neues Problem, aber die Tatsache, dass die KI-Technologie sie weiterhin verstärke, habe zum Aufstieg des fairnessbewussten maschinellen Lernens (ML) als Teil der verantwortungsvollen KI geführt.

Ziel ist die Entwicklung von Modellen des maschinellen Lernens, die einerseits gute Vorhersagen machen, andererseits aber nicht nach geschützten Merkmalen wie Geschlecht oder Rasse diskriminieren.

“Es wurden viele Anstrengungen unternommen, aber bisher haben die vorgeschlagenen Methoden nur eine begrenzte Wirkung und spiegeln nicht die Komplexität und die Anforderungen der realen Anwendungen wider”, so Karimi weiter.

MAMMOth: Zwölf Institute ziehen an einem Strang

Beim EU-Projekt MAMMOth indes entwickeln Experten aus zwölf verschiedenen Institutionen eine innovative, auf Fairness ausgerichtete, datengestützte KI-Grundlage, die die notwendigen Werkzeuge zur Verfügung stellt, um Diskriminierung und Mehrfachdiskriminierung abzuschwächen und die Verantwortlichkeit von KI-Systemen zu gewährleisten.

“Durch die Entwicklung und Umsetzung von multikriteriellen Fairness-Maßnahmen und Abschwächungen wollen wir sicherstellen, dass Minderheiten in Algorithmen nicht sichtbar sind und in Bereichen, die sich bei Entscheidungsprozessen auf Maschinen verlassen, fair behandelt werden”, erklärt Karimi. “Gerechtere Algorithmen bedeuten eine bessere Repräsentation und Vielfalt in der Gesellschaft, was wiederum eine integrativere und gerechtere Gesellschaft bedeutet.”

Zu diesem Zweck wird sich das Projekt von Anfang an aktiv an zahlreiche Gemeinschaften von gefährdeten bzw. unterrepräsentierten Gruppen in der KI-Forschung wenden. Der sogenannte Co-Creation-Ansatz soll dafür sorgen, dass die tatsächlichen Bedürfnisse und Nöte der Nutzer:innen im Mittelpunkt der Forschungsagenda stehen und die Aktivitäten des Projekts leiten.

Die entwickelten Lösungen werden, laut Karimi, folglich in Pilotprojekten in drei relevanten Bereichen (Finanz-/Kreditanwendungen, Identitätsüberprüfungssysteme und akademische Bewertung) demonstriert.

Deine ungelesenen Artikel:
vor 5 Stunden

Achtung, das ist keine Übung: Das ist eine “Watschn” für die Agentur-Szene

Rafael Auferbauer von outlize übt starke Kritik an der heimischen Agentur-Szene, die nicht nur die Startup-Welt teilweise missversteht, sondern auch Existenzen bedroht. Sein Weckruf soll nicht nur die Beteiligten zum Nachdenken anregen, sondern auch Gründer:innen aufzeigen, worauf sie bei der Agentur-Auswahl achten müssen.
/artikel/achtung-das-ist-keine-uebung-das-ist-eine-watschn-fuer-die-agentur-szene
vor 5 Stunden

Achtung, das ist keine Übung: Das ist eine “Watschn” für die Agentur-Szene

Rafael Auferbauer von outlize übt starke Kritik an der heimischen Agentur-Szene, die nicht nur die Startup-Welt teilweise missversteht, sondern auch Existenzen bedroht. Sein Weckruf soll nicht nur die Beteiligten zum Nachdenken anregen, sondern auch Gründer:innen aufzeigen, worauf sie bei der Agentur-Auswahl achten müssen.
/artikel/achtung-das-ist-keine-uebung-das-ist-eine-watschn-fuer-die-agentur-szene
Agentur, Outlize
(c) zVg - Rafael Auferbauer von Outlize spart nicht mit Kritik.

“Was ist los mit euch Agenturen?” – so begann Rafael Auferbauer seinen Post Anfang April auf dem sozialen Netzwerk LinkedIn. Der Co-Founder von Outlize, eines Branding-Unternehmens, kennt die Agentur-Szene aus erster Hand. Entwicklungen der letzten Zeit und Erlebnisse haben ihn dazu gebracht, eine allgemeine Rüge an seine Kollegenschaft zu verfassen, um Betroffenen die Augen zu öffnen. Dabei spart er nicht mit Kritik, verteidigt Startups und nimmt die Unternehmen selbst in die Pflicht.

“Agentur hat nicht verstanden, was wir machen”

Konkret schrieb er: “Es vergeht keine Woche, in der ich nicht förmlich spüre, wie es Unternehmern kalt den Rücken runterläuft, wenn sie den Begriff ‘Agentur’ hören. Und das vollkommen zurecht. Wenn ich mir die Geschichten und Erfahrungen anhöre, habe ich echt den Eindruck, manche legen es drauf an, die Branche und den kollektiven Ruf von Agenturen zu schädigen. Das macht mich ganz besonders rasend, wenn dabei die Existenzen von Startups, die echt etwas bewegen wollen, gefährdet werden. Nur ein kleiner Auszug aus all den Absurditäten, die ich mitbekomme: Gleich zu Beginn ein absoluter Witz und viel zu oft gehört: ‘die Agentur hat nach einem halben Jahr noch immer nicht wirklich verstanden, was wir machen’.”

Weiters beschreibt er Situationen, in denen Startups: “in irgendwelchen Knebelverträgen Marketing-Kohle verbrennen, ohne irgendeine solide Marken-Grundlage zu haben und letztendlich, einfach nur, weil sie ihr Vertrauen in die falschen Hände gelegt haben, sterben”.

Er thematisiert Websites, “die nicht funktionieren und doppelt und dreifach gemacht werden müssen, oberflächliche und ersetzbare Lösungen, die eine KI besser ausspuckt und dass, komplexe und wichtige Jobs in irgendwelche Niedriglohn-Drittländer ausgelagert und als eigene Leistung verkauft werden”. Falsche Versprechungen, um den Deal zu “closen”, nennt er “kein nachhaltiges, unternehmerisches Denken”.

Und weiter: “Ihr killt mit eurer Kurzsichtigkeit, Oberflächlichkeit und Geldgeilheit Businesses, Existenzen und Vertrauen. Ich habe nicht selten das Gefühl, den Scherbenhaufen, den ihr hinterlassen habt, zusammenräumen zu dürfen. Sei es im Kennenlernen, in Sales Calls oder in der Zusammenarbeit. Wenn ihr keine guten Absichten habt und nur für eure eigene Tasche arbeitet, hört bitte auf. Niemand braucht euch”.

Das Problem der Kreativität

Der Frust, der aus all diesen Worten dringt, liegt einer Oberflächlichkeit und nicht gelebter Verantwortung vieler Agenturen zugrunde: “Es wird nicht unternehmerisch, langfristig und holistisch gedacht, sondern kurzfristig, oberflächlich und in Insellösungen. Die meisten definieren sich vor allem über Kreativität und haben dabei kein Gefühl für Unternehmertum und Innovation. Das spüren die Startups und fühlen sich von den meisten nicht wirklich verstanden. Dennoch landen viele von ihnen dort, weil ihnen nicht bewusst ist, dass es auch anders geht”, erzählt Auferbauer dem brutkasten auf Nachfrage.

Einer der größten Pain Points ist dem Founder nach, dass sich Agenturen anscheinend nicht wirklich mit Startups beschäftigen und nach langer Kooperation noch immer nicht wüssten, was das jeweilige Unternehmen mache.

“Das habe ich einfach wirklich schon viel zu oft von allen möglichen Seiten gehört. Das ist für mich nicht nachvollziehbar. Mein Gegenüber besser kennenzulernen, als es selbst sich bisher kannte, ist die absolute Grundvoraussetzung, um eine starke Brand aufbauen zu können”, betont der Outlize-Founder. “Zudem hat man ein großes Privileg, wenn man mit Startups arbeiten darf. Man ist extrem nah am ‘Impact’ und technologischen wie sozialen Innovationen dran. Das ist hochspannend, man lernt bei jedem einzelnen Kunden so viel dazu.”

Schlechte Agentur-Arbeit und Knebel

In einem konkreten Fall hatte das Startup eines Bekannten des Gründers um 20.000 Euro eine Website in Auftrag gegeben. Das Ergebnis nach monatelanger Arbeit war eine qualitativ minderwertige Seite voller Bugs: “Schlussendlich hat sich herausgestellt, dass die gesamte Website nach Bangladesch ausgelagert wurde und die Agentur die Bugs auch nicht fixen konnte. Der Kunde stand dann komplett alleingelassen da und musste aus Zeitgründen die Website woanders von Grund auf neu beauftragen. Um das Geld wurde dann monatelang gestritten.”

Ein weiterer Problemfall wäre zudem auch, dass Startups, die zu bestimmten Meilensteinen eine bestimmte Anzahl von Kunden vorweisen müssen, versuchen, ihre Ziele meistens über Performance-Marketing zu erreichen.

“Dabei landen sie oft in irgendwelchen Knebelverträgen und verbrennen Monat für Monat Kapital für Marketing, das nicht performt, weil keine solide Basis da ist. Anstatt auf Augenhöhe und unternehmerisch verständnisvoll zu reagieren, werden die Startups weiter ausgepumpt, solange es geht”, so die weitere Kritik des Branding-Experten.

Zudem werde oftmals beim Kennenlerngespräch die Frage nicht gestellt, was das Ziel der Website sei. Vielen Agenturen sei außerdem nicht bewusst, welche Verantwortung sie hätten, wenn sie von Startups Aufträge erhalten: “Websites, die vielleicht geil ausschauen, müssen zu einem späteren Zeitpunkt völlig neu aufgebaut werden. Vor allem, wenn das Startup bemerkt, dass sie weder gefunden werden, noch die Conversion-Rate stimmt. Ich kenne Startups, die zwei bis drei Mal in eine völlig neue Website investieren mussten, weil sie außer schön sein nichts konnte”, erinnert sich Auferbauer.

Imageschaden ist angerichtet

Für den Wiener Founder ist der Begriff “Agentur” mittlerweile extrem negativ behaftet. Man spüre förmlich das Schaudern bei den Menschen, wenn dieser Begriff falle. Insgesamt herrsche ein riesengroßes Misstrauen, weil sehr viele negative Erfahrungen gemacht wurden.

“Anbieter, die tatsächlich gute Arbeit leisten und im Sinne ihres Auftraggebers agieren, müssen da sehr viel Zeit und Mühe investieren, um das beim Gegenüber aufarbeiten zu können und ihr Vertrauen zu gewinnen”, weiß Auferbauer mittlerweile. “Da geht auch für das Startup sehr wertvolle Zeit drauf. Und das ist extrem schade, denn wenn man wirklich eine Agentur hat, die sich mit einem beschäftigt, Zeit und ‘Effort’ investiert und ‘committed’ ist, kann man easy und mit extrem viel Spaß gemeinsam eine starke Brand oder andere bleibende Werte aufbauen. Man arbeitet gemeinsam an spannenden Themen und investiert in eine erfolgreiche Zukunft.”

Es sind für den Gründer, wie bereits angedeutet, vor allem Oberflächlichkeit und mangelndes Verantwortungsbewusstsein die größten Faktoren und Probleme bei dieser Thematik. Es gehe um Existenzen und dies sei vielen nicht bewusst.

“Viele Startups werden mit privaten Mitteln und 80 bis 100 Stunden pro Woche Investment aufgebaut. Sein unternehmerisches bzw. privates Schicksal in die Hände von Menschen zu legen, die einen nicht einmal wirklich verstehen, kann einfach nicht gut gehen”, so Auferbauer weiter. “Oft muss das nicht mal heißen, dass das Business eingeht, aber die Startups werden künstlich ausgebremst und haben es viel härter ‘Traction’ zu generieren. Ein Startup, das potentiell die Welt verändern kann, braucht einfach ernsthaftes Commitment von allen Seiten und keine Halbherzigkeit.”

Mindset und Einstellung

Der Outlize-Founder rät Agenturen endlich ihre Verantwortung wahrzunehmen und auch zu leben. Mindset und Einstellung seien die Dinge, die jede Agentur selbst in der Hand habe.

“Es geht darum, auf Augenhöhe, nachhaltig und wertschätzend zu agieren. Den Deal um jeden Preis zu closen, auch wenn schon klar ist, dass die Zusammenarbeit keinen Erfolg haben wird, muss auf jeden Fall auch aufhören”, sagt er deutlich. “Es stellt sich auch die Sinnfrage, dass jede:r, der sich heute die Adobe Creative Suite kauft, eine Agentur eröffnen kann. Leider wird da viel zu viel Schaden angerichtet. Ich möchte dabei aber nicht unerwähnt lassen, dass es auch extrem fähige Leute gibt, die keine spezielle Ausbildung in diesem Bereich haben. Maßnahmen dagegen würden vielleicht zu weniger Agenturen, aber auch zu einem höheren Qualitätsstandard führen.”

Für Gründer:innen, die sich Agenturen suchen, hat Rafael Auferbauer zwei Tipps parat:

  • Schritt 1 – Recherche; Website, Auftritt und Kommunikation: Spricht die Agentur eure Sprache? Sind dort mehrere Startup-Projekte zu finden? Geben sie ein Commitment in Richtung Startups? Gibt es Startup-Packages? Achtet auch darauf, welche Kunden sie bedienen. Sucht euch jemanden, der sich den Startups und Scaleups verschrieben hat. Auch die Größe der Agentur kann unter Umständen relevant sein. Es gibt Agenturen, wo der Chef verkauft, aber die Arbeit hinten raus von Praktikanten und Juniors allein gemacht wird. Ich rate auch dringend, Abstand von klassischen Kreativagenturen zu nehmen, die alles für jeden anbieten, was ihnen im kreativen Space so eingefallen ist. Es ergibt mehr Sinn, sich Experten für bestimmte Bereiche an Board zu holen – z.B. jemanden für Branding, jemanden für Marketing, SEO, u.s.w., die allerdings gut aufeinander abgestimmt sind und einen holistischen Blick auf das Projekt haben. Hier macht es Sinn, dass ein Partner im Lead ist, um mühsame Koordination beim Startup zu vermeiden.
  • Schritt 2 – Gespräch: Achtet darauf, ob die Person euch wirklich zuhört und eure Sprache spricht – im Sinne dessen, dass sie den Startup-Spirit fühlt und euer Problem tatsächlich versteht und euch glaubhaft versichern kann, es lösen zu können. Wenn einfach nur losgepitcht wird und man ihnen zuhören darf, wie geil sie sind, ist das schon mal ein schlechtes Zeichen. Macht die Person einen oberflächlichen Eindruck? Gar einen angeberischen? Nicht gut. Fragt auch ruhig nach, was passiert, wenn die Zusammenarbeit nicht funktioniert – ob man aus dem Vertrag austreten kann etwa. Die Arbeit mit einer guten Agentur ist ein sehr intensives People-to-people Business. Achtet insofern also sehr darauf, ob ihr mit der Person auch feiern gehen würdet und ihr vertraut.

Abschließend möchte Auferbauer trotz all seiner negativen Erfahrungen klar betonen, wie wertvoll und wichtig die Arbeit von Agenturen ist, die ihre Sache ernst meinen und für Startups brennen.

Er sagt: “Sie können euch ’empowern’ und dafür sorgen, dass aus einer guten Produkt-Idee eine Weltmarke wird, die viel positiven ‘Impact’ haben und ganze Branchen auf den Kopf stellen kann. ‘Commitment’, gegenseitige Wertschätzung und der ernsthafte Wille, etwas Großes aufzubauen sind dabei die Schlüsselelemente für eine spannende und erfolgreiche Zusammenarbeit, die auch noch enorm viel Spaß macht.”

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

MAMMOth: KI-Tendenz zur Diskriminierung durchbrechen