08.01.2024

KI im Amt: Early Adopter mit Shitstorm-Garantie

Gastbeitrag. Das AMS hat vergangene Woche einen KI-Chatbot veröffentlicht - und dafür scharfe Kritik einstecken müssen. Doch die teilweise überzogene Kritik offenbarte Widersprüche und mangelndes Projektverständnis, argumentiert Apollo.ai-Gründer Mic Hirschbrich. Er erläutert außerdem, was es künftig für solche Projekte braucht.
/artikel/ki-im-amt-early-adopter-mit-shitstorm-garantie
Mic Hirschbrich
Mic Hirschbrich | Hintergrundbild: Foto: AMS, Fotostudio B&G

Als brutkasten mich um eine Einschätzung zum neu gelaunchten AMS-Chatbot „Berufsinfomat“ bat, überschlugen sich bereits die Nachrichten. In Branchen-Blogs, Boulevardmedien und Qualitätspresse war schnell klar, was bei diesem KI-Projekt schiefgelaufen war.

Der Bot wurde kritisiert, sexistische Antworten zu liefern und Ungleichheit zu fördern, wie eine Radiosendung empört berichtete. Im Frühstücksfernsehen belächelte man die vielen unpassenden Antworten, und anderswo wurde behauptet, andere Anbieter hätten ein vergleichbares Service in Minuten nachgebaut.

Zudem wurde der hohe Preis von 300.000 Euro für einen als diskriminierend empfundenen Chatbot, der Männer und Frauen unterschiedlich behandle, kritisiert. Viele X-User verglichen dies mit dem „Kaufhaus Österreich“ und sahen es als Verschwendung von Steuergeldern. Ein Digital-Experte im Radio-Live-Interview wirkte bei der Machart des Chatbots uninformiert und wiederholte lediglich gängige Sexismus-Vorwürfe.

Dabei wird kaum über die funktionierenden Teile der Software gesprochen, die jeder selbst testen kann. Auch wird selten erwähnt, dass eine Behörde endlich das tut, was man 2023 von ihr erwarten sollte: sich digital etwas zu trauen. Bei der übermäßigen Welle der Kritik am AMS-Chatbot scheint es nicht nur um die suboptimale Launch-Strategie zu gehen, während andere vergleichbare Projekte kaum Beachtung finden.

Ein Tweet von Martin Thür bringt es auf den Punkt: „Ich habe keinen einzigen kritischen Artikel zum Chatbot der Stadt Wien gefunden. Nicht einmal dessen Kosten sind offengelegt. Mir scheint, nicht nur die KI hat einen Bias.“

Die teilweise überzogene Kritik offenbarte Widersprüche und mangelndes Projektverständnis. Markus Kaiser, ehemaliger Geschäftsführer des BRZ, drückte seine Verwunderung auf LinkedIn aus. Auch scheint es, dass die Medien nicht gründlich recherchieren, warum eine Behörde diese Lösung wählte, und begnügen sich mit oberflächlicher User-Testung. Wer so vorgeht, kann ein jedes Produkt eines generativen Modells in Grund und Boden kritisieren. Es wirkt, als stünde eigentlich ein anderes Thema im Vordergrund: Der Nimbus, dass wir Digitalisierung (im öffentlichen Bereich) einfach nicht können.

In Wahrheit fehlt es auf beiden Seiten am Verständnis, wie solche Projekte eingeführt werden sollen, sowohl auf Betreiber- als auch auf Stakeholder-Seite. Aber zumindest das lässt sich lösen.

Was es für solche Projekte künftig braucht:

BETA-Kultur 2.0

Vor Jahren kam die BETA-Test-Kultur aus dem Silicon Valley zu uns. Produkte wurden zuerst intern, dann ausführlich extern getestet. Diese Kultur ist mittlerweile fast verschwunden, was der digitalen Innovationskultur schadet. Die Entwicklung komplexer Produkte erfordert Offenheit, hohe Fehlertoleranz und eine breit getragene Feedback-Kultur. Wir sollten solche Phasen wieder einführen, besonders im Bereich generativer KI, um ausreichend Userfeedback zu sammeln und unvermeidliche Fehler auszumerzen. Richtig kommuniziert sollte jedem User klar sein, dass der Hinweis „es können fehlerhafte Inhalte produziert werden“ ernst gemeint ist.

Bullshit-Verbot bei KI-Themen

Früher gab es ein Bullshit-Eldorado bei Tech-Themen. Heute ist unser Umgang mit Informationen faktischer und verantwortungsvoller. Doch der Druck zur Übertreibung stieg wieder, ausgelöst durch Branchenriesen wie OpenAI und Microsoft. Die Erwartungen, was KI leisten kann, sind durch falsche Versprechungen und Medienberichte überhöht. Der Weg zu belastbaren und sicheren b2b KI-Anwendungen ist in Wahrheit aufwendig und erfordert Expertise und Ressourcen (besonders im öffentlichen Dienst). Aber er lohnt sich.

Mut zu KI-Projekten bei Ämtern und Behörden

Der neue Shitstorm könnte Ämtern und Behörden den Mut nehmen, eigene Innovationsprojekte voranzutreiben. Doch genau dieser ist wichtig. Jedes Amt, jedes Ministerium sollte Startups die Chance geben, ihre Technologie einzusetzen. Dem AMS gebührt Respekt für seinen Mut, insbesondere nach dem davor erlebten Shitstorm zum sogenannten „AMS-Algorithmus“, der aber keine KI war, wie es Medien und NGOs ebenfalls und überwiegend falsch kommunizierten.

Das Problem mit unserer unfair verteilten Fehlertoleranz

Das AMS, wie viele andere in unserer Region, steht vor einer besonderen Herausforderung: Als OpenAI ChatGPT für alle zugänglich wurde und schnell 100 Millionen Nutzer erreichte, herrschte auch bei uns große Euphorie. Die Kritik an den noch offensichtlichen, zahlreichen Schwächen des Systems war dabei fast nicht vorhanden. Man hörte oft: „Ja, es gibt Probleme mit Halluzinationen und dem ‚Reasoning‘, das Datenschutz- und Knowledge-Graph-Problem ist noch nicht gelöst, aber nutzt es trotzdem sofort, sonst seid ihr nicht mehr zu retten.“

Ganz anders ist die Reaktion, wenn ein europäischer oder österreichischer Anbieter einen KI-Service vorstellt und bewirbt. Hier herrscht fast eine Nulltoleranzpolitik. Kritik und eine gewisse Schadenfreude am Scheitern anderer sind dann häufig. Mittlerweile ist allgemein bekannt, dass Trainingsdaten für KI voreingenommen sein können – ein Spiegelbild der menschlichen Entscheidungen, auf denen sie basieren. Diese Voreingenommenheit wird normalerweise durch Tests entdeckt und behoben (wenn es doch nur bei Mitarbeitern und Kunden so einfach wäre). KI-Projekte im Einklang mit Datenschutzvorschriften zu gestalten, ist Neuland und aufwendig, und auch die Sicherheitsaspekte können kostspielig sein.

Wie könnte es mit dem AMS Berufsinfomat weitergehen?

Eine wichtige Lehre ist, die Menschen und diversen Stakeholder besser auf KI-Anwendungen vorzubereiten. Eine ausführliche interne Testung gefolgt von einer kontrollierten, länger angesetzten und begleiteten BETA-Test-Phase, ist ab jetzt ein Muss. Das AMS könnte einen kleinen Schritt zurück machen und das Rollout-Verfahren korrigieren. So könnten sich Stakeholder konstruktiv einbringen. NGOs könnten ihre Bedenken bezüglich Datenschutz, Sexismus, Rassismus und Ungleichheit gefahrlos erforschen und Feedback geben. Die Medien würden sich dann hoffentlich weniger auf die Schwächen konzentrieren und auch die Stärken hervorheben, was das Vertrauen in die Behörden stärkt.

Denn ein Projekt, das offen zugibt, innovativ, aber auch noch fehleranfällig (also BETA) zu sein, wird weniger Ziel von Kritik sein, sondern einladen, unvoreingenommen getestet zu werden

Deine ungelesenen Artikel:
11.11.2026

Strengere EU-Regeln bei Online-Abos und Marketing: Werbebranche und deutscher Startup-Verband warnen

Die EU-Kommission hat einen Vorschlag für ein Gesetz über digitale Fairness vorgelegt. Dabei sollen Testversionen nicht automatisch zu kostenpflichtigen Abos führen können. Startups, die Trial-Modelle anbieten, brauchen in Zukunft die ausdrückliche Zustimmung der Kund:innen. Iab austria befürchtet durch ein weiteres Gesetz Unklarheiten und unterschiedliche Auslegungen. Der deutsche Startup-Verband sieht eine mögliche finanzielle Belastung für Startups und Scaleups.
/artikel/strengere-eu-regeln-bei-online-abos-und-marketing-werbebranche-und-deutscher-startup-verband-warnen
11.11.2026

Strengere EU-Regeln bei Online-Abos und Marketing: Werbebranche und deutscher Startup-Verband warnen

Die EU-Kommission hat einen Vorschlag für ein Gesetz über digitale Fairness vorgelegt. Dabei sollen Testversionen nicht automatisch zu kostenpflichtigen Abos führen können. Startups, die Trial-Modelle anbieten, brauchen in Zukunft die ausdrückliche Zustimmung der Kund:innen. Iab austria befürchtet durch ein weiteres Gesetz Unklarheiten und unterschiedliche Auslegungen. Der deutsche Startup-Verband sieht eine mögliche finanzielle Belastung für Startups und Scaleups.
/artikel/strengere-eu-regeln-bei-online-abos-und-marketing-werbebranche-und-deutscher-startup-verband-warnen
Fahne der Europäischen Union
Foto: Adobe Stock

Jede:r kennt wohl die Situation: Man bezahlt für ein Abo, das man nie bewusst abgeschlossen hat. Aus einer kostenlosen Testversion rutscht man still und leise in ein kostenpflichtiges Abo. Das soll in Zukunft nicht mehr passieren können. Heute hat die EU-Kommission einen Vorschlag für ein Gesetz über digitale Fairness vorgelegt. De facto handelt es sich um eine Aktualisierung der EU-Verbraucherschutzvorschriften. Man wolle damit sicherstellen, dass Verbraucher:innen „in der EU online das gleiche hohe Schutzniveau genießen wie offline“. Die Werbebranche sieht in dem Vorschlag vor allem neue Rechtsunsicherheiten.

Die wichtigsten Neuerungen

Verboten werde sollen etwa manipulative Marketingtaktiken, sogenannte „Dark Patterns“. Darunter fallen gefälschte Behauptungen, die Kund:innen dazu bewegen, ein Produkt zu kaufen, das sie sonst nicht gekauft hätten. EU-Bürger:innen werden durch Behauptungen wie „Ein Produkt sei schnell ausverkauft“ dazu bewogen. Neben gratis Testversionen wie Trail-Modelle, die sich nicht automatisch in kostenpflichtige Versionen verwandeln dürfen, müssen Abonnements auch einfach zu kündigen sein.

Die EU-Kommission fordert zudem eine transparente Preisgestaltung, insbesondere bei Käufen mit virtuellen In-App-Währungen und bei dynamischen Preisen für Kultur- und Sportveranstaltungen. In virtuellen Warteschlangen wären Unternehmen verpflichtet, den aktuellen Preis in Echtzeit und den höchstmöglichen Preis anzuzeigen. Außerdem sollen unfaire personalisierte Anzeigen und Preise, die sich an Minderjährige richten, eingeschränkt werden.

Ersparnis von jährlich bis zu 13,7 Mrd. Euro

Parallel zum Gesetz über digitale Fairness schlägt die Kommission eine Überarbeitung der Verordnung über die Zusammenarbeit im Verbraucherschutz vor, mit der der Kommission mehr Befugnisse zur direkten Untersuchung und Verhängung von Geldbußen in Großfällen übertragen würden.

In Brüssel erwarte man einen faireren Wettbewerb, „damit Unternehmen mit Vertrauen wachsen und innovativ sein können“. Außerdem will man, dass Verbraucher:innen durch die Überarbeitungen besser geschützt und fairer behandelt werden. EU-Bürger:innen sollen insgesamt bis zu 13,7 Milliarden Euro pro Jahr sparen.

„Fairness entsteht nicht durch eine weitere Schicht an Vorschriften“

Die Werbebranche sieht das anders: „Niemand in unserer Branche stellt infrage, dass Konsument:innen online fair behandelt werden müssen. Aber Fairness entsteht nicht durch eine weitere Schicht an Vorschriften, sondern durch die konsequente Durchsetzung der bestehenden Regeln“, sagt Hannes Wurzwallner, Präsident des iab austria.

Viele der diskutierten Maßnahmen seien bereits im EU-Recht, wie in der DSGVO oder der UGP-Richtlinie, geregelt. Die Vertretung der Digitalwirtschaft betont in einer Aussendung, dass „überschneidende Regelungen aus Sicht des iab austria zu Rechtsunsicherheit, unterschiedlichen Auslegungen in den Mitgliedstaaten und zusätzlichen Belastungen insbesondere für kleine und mittlere Unternehmen führen könnten“ und spricht sich dafür aus, „bestehende Regeln zu evaluieren, bevor neue entstehen“. Bezüglich der „Dark Patterns“ müsse berücksichtigt werden, dass die Bewertung von Interface-Design vom jeweiligen Kontext abhänge.

Deutscher Startup-Verband warnt vor Mehrbelastung 

„Grundsätzlich sind wir für eine Harmonisierung der Regelungen. Es sollten aber die Auswirkungen auf Startups und Scaleups bedacht werden. Sie sind schließlich die, die Innovation in Europa vorantreiben“, sagt AustrianStartups-CEO Hannah Wundsam auf brutkasten-Anfrage. In Deutschland unterstützt man „das Ziel, Verbraucher:innen vor unfairen Praktiken zu schützen, und begrüßt einheitliche Regeln in der EU“, wie der deutsche Startupverband heute mitteilte.

Er warnt jedoch vor einer Mehrbelastung für Startups und Scaleups. “Der Digital Fairness Act darf das Skalieren in Europa nicht verteuern. Startups und Scaleups brauchen Regeln, die Verbraucher schützen und Wachstum zulassen”, kommentiert Christoph J. Stresing, Geschäftsführer des Startup-Verbands. Die laufenden Kosten für Unternehmen werden laut Kommission auf 678 Millionen bis 1,2 Milliarden Euro im Jahr beziffert, wie der Startupverband mitteilte.

Bei Startups for Europe wolle man die europäischen Startup-Organisationen zu dem Thema aufeinander abstimmen. „Im ersten Schritt möchten wir einen paneuropäischen Gesichtspunkt beschließen und vertreten“ sagt Wundsam, die auch im Vorstandsmitglied bei Startups for Europe ist.

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

KI im Amt: Early Adopter mit Shitstorm-Garantie

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

KI im Amt: Early Adopter mit Shitstorm-Garantie

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

KI im Amt: Early Adopter mit Shitstorm-Garantie

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

KI im Amt: Early Adopter mit Shitstorm-Garantie

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

KI im Amt: Early Adopter mit Shitstorm-Garantie

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

KI im Amt: Early Adopter mit Shitstorm-Garantie

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

KI im Amt: Early Adopter mit Shitstorm-Garantie

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

KI im Amt: Early Adopter mit Shitstorm-Garantie

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

KI im Amt: Early Adopter mit Shitstorm-Garantie