25.01.2023

So diskriminiert KI: ChatGPT entfacht Debatte neu

Jasmin Reisinger und Gabriele Bolek-Fügl erklären, wie Diskriminierung in der Künstlichen Intelligenz und in der KI-Branche funktionieren und was man dagegen tun könnte. Der Fall ChatGPT hat die Debatte neu entfacht.
/artikel/so-diskriminiert-ki-chatgpt-entfacht-debatte-neu
Gabriele Bolek-Fügl und Jasmin Reisinger (Women in AI Austria) sprechen über ChatGPT und Ethik in der KI © Bolek-Fügl; Reisinger; Parradee/AdobeStock
Gabriele Bolek-Fügl und Jasmin Reisinger (Women in AI Austria) sprechen über ChatGPT und Ethik in der KI © Bolek-Fügl; Reisinger; Parradee/AdobeStock

Die Kritik um ChatGPT und die Möglichkeit, rassistische oder sexistische Statements im Zuge der Nutzung zu erhalten, gibt es bereits länger. Mittlerweile hat sich die Debatte über die ethischen Aspekte der Künstlichen Intelligenz (KI) erweitert. Der Chatbot wurde soweit trainiert, dass scheinbar keine diskriminierenden Statements mehr vorkommen. Die erfolgreiche Behebung hat seinen Preis. Wie Recherchen des Time Magazins zeigen, hat die hinter ChatGPT stehende Firma OpenAI Textausschnitte an das Trainingsdatenunternehmen Sama gesendet, um die KI zu trainieren. Klickarbeiter:innen der Sama-Außenstelle in Kenia wurden dafür laut Time Magazin nicht nur mit unter zwei Dollar die Stunde für ihre Arbeit bezahlt, sondern waren mit teils traumatisierenden Inhalten konfrontiert. Um eine KI manuell zu trainieren, braucht es nämlich Menschen, die die toxischen Inhalte als solche klassifizieren und der KI übermitteln. 

Solche Skandale werfen Fragen auf: Wie können einer KI diskriminierende, sexistische und rassistische Inhalte abtrainiert werden, ohne zugleich in der realen Welt prekäre Arbeitsbedingungen zu bestärken? Im gemeinnützigen Verein “Women in Artificial Intelligence Austria” setzen sich mehrere AI-Expertinnen nicht nur mit den technologischen Aspekten, sondern auch mit der Geschlechterlücke in der Künstlichen Intelligenz auseinander. Damit widmen sie sich einer speziellen Form der Diskriminierung in der KI. Im brutkasten-Gespräch bewerten Jasmin Reisinger und Gabriele Bolek-Fügl von “Women in AI” den Fall ChatGPT und erklären die technologischen Hintergründe und was man in der Branche beachten muss, sodass gerechte Rahmenbedingungen herrschen – sowohl in der Technologie, als auch in der Realität.


Was ist Diskriminierung in der AI und wie findet sie aktuell statt?

Jasmin und Gabriele: Eine Künstliche Intelligenz lernt selbständig auf Basis von sehr vielen Datensätzen, die der Mensch bereitstellt. Diese Datensätze bilden entweder eine Momentaufnahme ab, die die bisherige Realität darstellt – inklusive der Diskriminierung von einzelnen Menschengruppen. Oder sie bilden eine Situation ab, von der umfassende Datensätze vorhanden sind. Bei zweiterem bedeutet dies, dass selten eine ausgewogene Bandbreite der Menschen in den Daten vorhanden ist. Außerdem werden die KI-Modelle von einer homogenen Gruppe von Programmierer:innen erstellt. Auch das ist eine Quelle dafür, dass sich Vorurteile in den Ergebnissen von KI-Systemen widerspiegeln.

Diskriminierung im Kontext von KI bedeutet demnach, dass Interpretationsmuster vom Menschen übernommen werden können. So können negative Diskriminierungsstrukturen entstehen. Um dies zu vermeiden, müssen Trainingsdaten „bereinigt“ oder „ergänzt“ werden und das ist bei Millionen von Datensätzen keine einfache Aufgabe. Vor dieser Herausforderung steht aktuell OpenAI und deren Chatbot “ChatGPT”, der für sein Können bestaunt und für seine Limitierungen kritisiert wird.

Wie beobachtet bzw. bewertet ihr diesen Sachverhalt rund um OpenAI und deren Umgang mit externen Angestellten?

Jasmin: Der Time-Artikel zu OpenAI hat bestimmte Vorgänge im Hintergrund sehr detailliert beleuchtet, die der breiten Öffentlichkeit vorher unbekannt waren. Wie bereits erwähnt ist die Bereinigung von riesigen Datensätzen eine Herausforderung, zu der es oft (noch) keine einfache Lösung gibt. Dabei sind zwei Perspektiven zu beachten: Einerseits sollte die KI-Industrie bei heiklen Datensätzen nicht auf einfache Lösungen zurückgreifen, die auf der Ausbeutung billiger Arbeitskräfte beruhen, um schnellen technologischen Fortschritt zu erreichen. Andererseits ist die Involvierung von diversen Personengruppen mit unterschiedlichen Lebensrealitäten zu begrüßen, da sie für ausgewogenere KI-Modelle stehen können.

Gabriele: Die Reaktion der Öffentlichkeit wird OpenAI langfristig dazu zwingen, ethisch unbedenkliche Wege zu finden, wie sie ihre Technologie weiterentwickeln können. Ethische Beurteilungen unterliegen immer einem gesellschaftlichen Diskurs und da stehen wir noch ganz am Anfang. Es ist jedenfalls zu begrüßen, dass die Daten von ChatGPT nach unterschiedlichen Kriterien beurteilt und bereinigt wurden. KI-Systeme anderer Hersteller mussten aufgrund von nicht ausreichend bereinigten Daten bald wieder deaktiviert werden. Ethik ist nicht einfach da. Ethische KI-Systeme bedeuten die Abbildung der gesellschaftlichen Meinung zu einem bestimmten Zeitpunkt, und diese kann sich rasch ändern. Und es bedeutet viel Arbeit, diese Meinung in tausenden Datensätzen abzubilden.

Jasmin: Ich möchte an dieser Stelle jedoch betonen, dass nicht alle KI-Systeme mit Hochrisiko-Datensätzen gefüttert werden (müssen). Die Qualitätssicherung in der Glasindustrie z.B. ist weit weg von Themen wie Rassismus oder Sexismus, und verbessert tatsächlich die Arbeitsprozesse für Arbeitnehmer:innen. Den Fall OpenAI werden wir weiterhin beobachten.

Viele Menschen vergessen bei Künstlicher Intelligenz die manuellen Aspekte – also die Content Moderation hinter der Menschen stehen, die ungefiltert mit sämtlichen Daten konfrontiert werden. Teilweise kann das auch zu einer psychischen Belastung für Arbeitnehmer:inenn führen. Wie kann man sich diese manuellen Aspekte vorstellen?

Jasmin: Um Datensätze als Basis für KI-Systeme nutzen zu können, müssen diese einem „Labeling“ unterzogen werden. Der Mensch kennzeichnet dann z.B. die Merkmale einer Katze, damit die KI lernt, woran sie eine Katze erkennen oder von einem Hund unterscheiden kann.

Bei Millionen von Datensätzen muss z.B. im Falle von OpenAI gekennzeichnet werden, welche Daten diskriminierend, rassistisch, sexistisch usw. sind, um qualitativ hochwertige, wertfreie Datensätze zu erzielen. Erst dann kann die KI „gute“ Ergebnisse liefern. Vor- oder Nachteile gibt es in dem Sinne nicht. Der steigende Bedarf an „Data Labeling“ wird viele Unternehmen lediglich vor eine Herausforderung stellen.

Gabriele: Dass potentiell traumatisierende Informationen von Menschen angesehen werden müssen, um ein Daten Labeling für KI durchzuführen, ist der Realität geschuldet. Diese Daten wurden aus einem bestimmten Grund von Menschen erstellt. Dieser war nicht, als Trainingsdaten für eine KI herangezogen zu werden, sondern Angst, Betroffenheit oder Ähnliches bei anderen Personen zu erzeugen.

OpenAI ist nicht das erste und vermutlich nicht das letzte Unternehmen, bei dem so etwas vorkommt. Gerade in Anbetracht der Tatsache, dass wir jetzt auf einen AI-Hype blicken: Wie muss sich die AI-Branche verändern, damit solche Arbeitsbedingungen aufgehalten werden?

Gabriele: Wollen wir ethische KI-Systeme, so muss vorher ein gesellschaftlicher Diskurs zu den ethischen Werten stattfinden. Dann kann versucht werden, diese in den KI-Modellen abzubilden. Bekannt ist das Beispiel, ob ein selbstfahrendes Auto eher einen 80-jährigen Mann bei einer unausweichlichen Kollision verletzen soll oder die Mutter mit Kinderwagen.

Die Auslagerung des “Data Labeling” in andere Länder mit billigeren Kostenstrukturen und Lohn hat auch mehrere Aspekte. Aus Diversitätsgründen ist es einerseits zu begrüßen, außerdem werden so auch Arbeitsplätze mit für die Länder meist gutem Lohn geschaffen. Andererseits werden häufig jene Sachverhalte ausgelagert, die man den eigenen Angestellten nicht zumuten möchte. Das ist ethisch sicher bedenklich.

Da Millionen von Datensätzen gelabelt werden müssen, sind die KI-Unternehmen darauf angewiesen, in andere Länder auszuweichen, um die Kosten für die KI-Systeme nicht immens hoch werden zu lassen und die Arbeit parallel zur Entwicklung durchzuführen. Kosten KI-Systeme letztendlich zu viel, werden sie von nur wenigen Kund:innen genutzt. Es verzerrt den Wettbewerb noch mehr, wenn diese Methodik nur einem kleinen Benutzerkreis zur Verfügung steht, der sich hohe Kosten leisten kann.

Jasmin: Zusätzlich ist noch der geografische Aspekt zu beachten. In Europa herrscht im Gegensatz zu den USA ein Bestreben nach regulierten, vertrauenswürdigen KI-Systemen. Hier wird durchaus betont, dass sowohl in technischer als auch gesellschaftlicher Hinsicht, kein Schaden angerichtet, sondern ausschließlich positive wirtschaftliche und gesellschaftliche Beiträge geleistet werden sollen. Ein konkreter Rechtsrahmen fehlt zwar auch hier noch, aber die Richtung stimmt. Langfristig werden Länder wie die USA an Regulierungen und Leitlinien feilen müssen, wenn sie das Vertrauen der Benutzer:innen erlangen bzw. behalten wollen.

Deine ungelesenen Artikel:
23.07.2026

Foreus: Wiener Private-Intelligence-Startup holt sich Millioneninvestment und wächst um 25 Prozent

Vom Krypto-Forensik-Spezialisten zum breit aufgestellten Private-Intelligence-Anbieter: Das Wiener Startup Foreus steht bei 4,5 Millionen Euro ARR, wächst heuer um 25 Prozent und hat vor wenigen Monaten ein siebenstelliges Investment abgeschlossen. Im Interview beim Business Angel Summit in Kitzbühel erklärt Gründer Stefan Embacher, wie er zum führenden Anbieter Europas werden will.
/artikel/foreus-investment-wachstum
23.07.2026

Foreus: Wiener Private-Intelligence-Startup holt sich Millioneninvestment und wächst um 25 Prozent

Vom Krypto-Forensik-Spezialisten zum breit aufgestellten Private-Intelligence-Anbieter: Das Wiener Startup Foreus steht bei 4,5 Millionen Euro ARR, wächst heuer um 25 Prozent und hat vor wenigen Monaten ein siebenstelliges Investment abgeschlossen. Im Interview beim Business Angel Summit in Kitzbühel erklärt Gründer Stefan Embacher, wie er zum führenden Anbieter Europas werden will.
/artikel/foreus-investment-wachstum
Stefan Embacher | (c) Foreus

Als Stefan Embacher Foreus im Jahr 2021 gründete, hatte er die heutige Ausrichtung bereits im Kopf. „Ich mach eine Firma, Private Intelligence. Das war meine Idee“, erzählt der Gründer im brutkasten-Interview beim Business Angel Summit in Kitzbühel. Weil das Krypto-Thema damals brannte und er über einen Kontakt in den USA auf ein Feld stieß, das es in Europa praktisch noch nicht gab, startete Foreus zunächst hochfokussiert mit Krypto-Forensik. Erste Zielgruppe waren spezialisierte Rechtsanwälte, dann kamen Banken dazu, etwa mit Mittelherkunftsnachweisen für ein Institut in Liechtenstein.

Der Fokus zahlte sich aus: Schritt für Schritt erweiterte das Team sein Feld um genau jene Themen, die durch die geopolitische Lage massiv an Relevanz gewonnen haben, von Sanktionsprüfungen im Russland-Kontext über Background-Checks bei M&A-Transaktionen bis zur Dual-Use-Exportkontrolle. Wenn etwa ein österreichischer Sensorhersteller an einen Abnehmer in der Türkei liefern will, prüft Foreus die Firmenstruktur des Käufers bis in die dritte, vierte und fünfte Ebene: Wer steht dahinter? Gibt es direkte oder indirekte Verbindungen zu sanktionierten Personen? Für exportierende Unternehmen ist das ohne spezialisierte Unterstützung kaum zu leisten.

HIDX: 60 Produkte auf einer Plattform

Heute steht Foreus auf zwei Standbeinen: Intelligence as a Service, also Dienstleistungen durch das eigene Expertenteam, und Software as a Service. Kern des Software-Geschäfts ist die selbst entwickelte Plattform HIDX (gesprochen „Hidex“, kurz für Hybrid Intelligence Detector). Rund 60 Produkte bündelt Foreus darin, von UBO-Checks über Sanktions- und AML-Prüfungen bis zur Krypto-Forensik. „Es gibt Hunderte von Softwareplattformen. Was wir anders machen: Wir haben rund 60 verschiedene Produkte in einer Plattform“, sagt Embacher.

Integriert ist auch ein Large Language Model, das bewusst in einer geschlossenen, sicheren Umgebung läuft und etwa Firmenbuchauszüge prüfen kann. Die Usability habe man an Social-Media-Logik orientiert, damit auch Nicht-Techniker:innen das Tool bedienen können. Abgerechnet wird pro User und Jahr, dazu kommen nutzungsbasierte Kosten. Ausbaustufen gibt es für Rechtsanwaltskanzleien, Banken und Regierungskunden.

Zum Einsatz kommt das vor allem bei „Härtefällen“, wie Embacher sagt: bei Geschäftspartnern in Afrika, Südostasien, Zentralasien oder Südamerika, wo selbst erfahrene Compliance-Verantwortliche mit den lokalen Jurisdiktionen kaum vertraut sind. Rund 400 Anwaltskanzleien weltweit zählt Foreus nach eigenen Angaben zu seinen Kunden, mit Schwerpunkt in der DACH-Region. Der größte Treiber seien globale Kanzleien mit Niederlassungen in zehn bis 15 Ländern.

4,5 Millionen Euro ARR, 25 Prozent Wachstum, frisches Kapital

Die Zahlen bestätigen die Strategie: Der ARR (Annual Recurring Revenue) liegt aktuell bei 4,5 Millionen Euro, heuer wächst Foreus um 25 Prozent, und das bei einem Team von etwas mehr als 30 Mitarbeiter:innen. Genau darin sieht Embacher die Stärke des Modells: „Wir wollen mit einem kleinen Team von 50 bis 60 Mitarbeitern wirklich einen Einfluss in diesem Markt in Europa haben.“ Die Vision ist klar formuliert: Foreus soll in Europa zum führenden Anbieter im Private-Intelligence-Bereich werden.

Rückenwind dafür gibt es auch auf der Kapitalseite: Vor rund drei Monaten kam es zu einem Investment im Umfeld der Wiener WBYD Management GmbH. „Da haben wir jetzt ein größeres Investment gehabt, im siebenstelligen Bereich“, so der Gründer.

Das frische Kapital fließt vor allem in den nächsten Wachstumsschritt: Im September relauncht Foreus seinen Government-Bereich mit neuen Anwendungen in der Software. Ziel sind Fünf- bis Sechs-Jahres-Verträge mit Regierungskunden, die für planbare, stabile Erlöse sorgen sollen. Im Fokus stehen kleinere Staaten, etwa am Balkan oder Länder in der Größenordnung Österreichs und Ungarns. International wird die Software nach Embachers Angaben bereits von Nachrichtendiensten genutzt. Das Corporate-Geschäft mit Banken laufe parallel weiter gut, monatlich kommen Neukunden dazu.

Vom Bundesheer über Palantir zur eigenen Firma

Seine Expertise bringt Embacher aus einer ungewöhnlichen Laufbahn mit: acht Jahre beim Österreichischen Bundesheer in einer K-Einheit für internationale Operationen, danach knapp vier Jahre im Sicherheitsbereich des US-Datenanalysekonzerns Palantir. „Da habe ich eigentlich meine ganze Experience her“, sagt er. Mit einer kolportierten Darstellung räumt er dabei auf: Dass er beim Bundesheer Ausbilder für Scharfschützen gewesen sei, wie mehrfach publiziert wurde, stimme nicht. „So ist es publiziert worden, aber das habe ich nie gesagt.“

Dass ein militärischer Hintergrund in Österreich lange eher skeptisch beäugt wurde, hat Embacher selbst erlebt: „Vor sechs, sieben Jahren war es schwierig für mich, dass ich mich hinsetze und sage: Ich war beim Militär. Das ist jetzt schon anders.“ Die Zeitenwende habe auch hier ein Umdenken gebracht.

Klare Worte zur parlamentarischen Anfrage

Offen spricht Embacher auch über die parlamentarische Anfrage der Grünen vom August 2025, die private Sicherheits- und Intelligence-Firmen und darin auch ihn namentlich behandelt. Er macht kein Geheimnis daraus, dass ihn die Anfrage stört, und stellt die zentralen Punkte klar: Ja, er habe nach wie vor Kontakte zu Palantir und ins Bundesheer, das liege bei seiner Biografie auf der Hand. Nur folge daraus nichts: „Ich habe noch keinen Cent mit dem Bundesheer verdient. Und selbst wenn da einmal etwas käme, gibt es immer noch das Ausschreibungsgesetz.“ Strafrechtlich habe es nie ein Verfahren gegeben.

„Der Westen ist Amerika und Europa“

Beim Business Angel Summit moderierte Embacher auch ein Panel zur europäischen Souveränität, ein Thema, bei dem er eine differenzierte Position vertritt. Eine Abschottung Europas hält er für den falschen Weg: „Ich denke, der Westen ist Amerika und Europa.“ Zugleich müsse Europa eigene Infrastruktur aufbauen und bei der militärischen Landesverteidigung europäisch statt nur nationalstaatlich denken. Was ihm in der öffentlichen Debatte fehle, sei die diplomatische Perspektive neben der militärischen: „Überall sitzen die Experten vom Militär. Aber die Soft Power in dem Kontext, die fehlt mir komplett.“

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

So diskriminiert KI: ChatGPT entfacht Debatte neu

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

So diskriminiert KI: ChatGPT entfacht Debatte neu

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

So diskriminiert KI: ChatGPT entfacht Debatte neu

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

So diskriminiert KI: ChatGPT entfacht Debatte neu

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

So diskriminiert KI: ChatGPT entfacht Debatte neu

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

So diskriminiert KI: ChatGPT entfacht Debatte neu

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

So diskriminiert KI: ChatGPT entfacht Debatte neu

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

So diskriminiert KI: ChatGPT entfacht Debatte neu

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

So diskriminiert KI: ChatGPT entfacht Debatte neu