08.01.2024

KI im Amt: Early Adopter mit Shitstorm-Garantie

Gastbeitrag. Das AMS hat vergangene Woche einen KI-Chatbot veröffentlicht - und dafür scharfe Kritik einstecken müssen. Doch die teilweise überzogene Kritik offenbarte Widersprüche und mangelndes Projektverständnis, argumentiert Apollo.ai-Gründer Mic Hirschbrich. Er erläutert außerdem, was es künftig für solche Projekte braucht.
/artikel/ki-im-amt-early-adopter-mit-shitstorm-garantie
Mic Hirschbrich
Mic Hirschbrich | Hintergrundbild: Foto: AMS, Fotostudio B&G

Als brutkasten mich um eine Einschätzung zum neu gelaunchten AMS-Chatbot „Berufsinfomat“ bat, überschlugen sich bereits die Nachrichten. In Branchen-Blogs, Boulevardmedien und Qualitätspresse war schnell klar, was bei diesem KI-Projekt schiefgelaufen war.

Der Bot wurde kritisiert, sexistische Antworten zu liefern und Ungleichheit zu fördern, wie eine Radiosendung empört berichtete. Im Frühstücksfernsehen belächelte man die vielen unpassenden Antworten, und anderswo wurde behauptet, andere Anbieter hätten ein vergleichbares Service in Minuten nachgebaut.

Zudem wurde der hohe Preis von 300.000 Euro für einen als diskriminierend empfundenen Chatbot, der Männer und Frauen unterschiedlich behandle, kritisiert. Viele X-User verglichen dies mit dem „Kaufhaus Österreich“ und sahen es als Verschwendung von Steuergeldern. Ein Digital-Experte im Radio-Live-Interview wirkte bei der Machart des Chatbots uninformiert und wiederholte lediglich gängige Sexismus-Vorwürfe.

Dabei wird kaum über die funktionierenden Teile der Software gesprochen, die jeder selbst testen kann. Auch wird selten erwähnt, dass eine Behörde endlich das tut, was man 2023 von ihr erwarten sollte: sich digital etwas zu trauen. Bei der übermäßigen Welle der Kritik am AMS-Chatbot scheint es nicht nur um die suboptimale Launch-Strategie zu gehen, während andere vergleichbare Projekte kaum Beachtung finden.

Ein Tweet von Martin Thür bringt es auf den Punkt: „Ich habe keinen einzigen kritischen Artikel zum Chatbot der Stadt Wien gefunden. Nicht einmal dessen Kosten sind offengelegt. Mir scheint, nicht nur die KI hat einen Bias.“

Die teilweise überzogene Kritik offenbarte Widersprüche und mangelndes Projektverständnis. Markus Kaiser, ehemaliger Geschäftsführer des BRZ, drückte seine Verwunderung auf LinkedIn aus. Auch scheint es, dass die Medien nicht gründlich recherchieren, warum eine Behörde diese Lösung wählte, und begnügen sich mit oberflächlicher User-Testung. Wer so vorgeht, kann ein jedes Produkt eines generativen Modells in Grund und Boden kritisieren. Es wirkt, als stünde eigentlich ein anderes Thema im Vordergrund: Der Nimbus, dass wir Digitalisierung (im öffentlichen Bereich) einfach nicht können.

In Wahrheit fehlt es auf beiden Seiten am Verständnis, wie solche Projekte eingeführt werden sollen, sowohl auf Betreiber- als auch auf Stakeholder-Seite. Aber zumindest das lässt sich lösen.

Was es für solche Projekte künftig braucht:

BETA-Kultur 2.0

Vor Jahren kam die BETA-Test-Kultur aus dem Silicon Valley zu uns. Produkte wurden zuerst intern, dann ausführlich extern getestet. Diese Kultur ist mittlerweile fast verschwunden, was der digitalen Innovationskultur schadet. Die Entwicklung komplexer Produkte erfordert Offenheit, hohe Fehlertoleranz und eine breit getragene Feedback-Kultur. Wir sollten solche Phasen wieder einführen, besonders im Bereich generativer KI, um ausreichend Userfeedback zu sammeln und unvermeidliche Fehler auszumerzen. Richtig kommuniziert sollte jedem User klar sein, dass der Hinweis „es können fehlerhafte Inhalte produziert werden“ ernst gemeint ist.

Bullshit-Verbot bei KI-Themen

Früher gab es ein Bullshit-Eldorado bei Tech-Themen. Heute ist unser Umgang mit Informationen faktischer und verantwortungsvoller. Doch der Druck zur Übertreibung stieg wieder, ausgelöst durch Branchenriesen wie OpenAI und Microsoft. Die Erwartungen, was KI leisten kann, sind durch falsche Versprechungen und Medienberichte überhöht. Der Weg zu belastbaren und sicheren b2b KI-Anwendungen ist in Wahrheit aufwendig und erfordert Expertise und Ressourcen (besonders im öffentlichen Dienst). Aber er lohnt sich.

Mut zu KI-Projekten bei Ämtern und Behörden

Der neue Shitstorm könnte Ämtern und Behörden den Mut nehmen, eigene Innovationsprojekte voranzutreiben. Doch genau dieser ist wichtig. Jedes Amt, jedes Ministerium sollte Startups die Chance geben, ihre Technologie einzusetzen. Dem AMS gebührt Respekt für seinen Mut, insbesondere nach dem davor erlebten Shitstorm zum sogenannten „AMS-Algorithmus“, der aber keine KI war, wie es Medien und NGOs ebenfalls und überwiegend falsch kommunizierten.

Das Problem mit unserer unfair verteilten Fehlertoleranz

Das AMS, wie viele andere in unserer Region, steht vor einer besonderen Herausforderung: Als OpenAI ChatGPT für alle zugänglich wurde und schnell 100 Millionen Nutzer erreichte, herrschte auch bei uns große Euphorie. Die Kritik an den noch offensichtlichen, zahlreichen Schwächen des Systems war dabei fast nicht vorhanden. Man hörte oft: „Ja, es gibt Probleme mit Halluzinationen und dem ‚Reasoning‘, das Datenschutz- und Knowledge-Graph-Problem ist noch nicht gelöst, aber nutzt es trotzdem sofort, sonst seid ihr nicht mehr zu retten.“

Ganz anders ist die Reaktion, wenn ein europäischer oder österreichischer Anbieter einen KI-Service vorstellt und bewirbt. Hier herrscht fast eine Nulltoleranzpolitik. Kritik und eine gewisse Schadenfreude am Scheitern anderer sind dann häufig. Mittlerweile ist allgemein bekannt, dass Trainingsdaten für KI voreingenommen sein können – ein Spiegelbild der menschlichen Entscheidungen, auf denen sie basieren. Diese Voreingenommenheit wird normalerweise durch Tests entdeckt und behoben (wenn es doch nur bei Mitarbeitern und Kunden so einfach wäre). KI-Projekte im Einklang mit Datenschutzvorschriften zu gestalten, ist Neuland und aufwendig, und auch die Sicherheitsaspekte können kostspielig sein.

Wie könnte es mit dem AMS Berufsinfomat weitergehen?

Eine wichtige Lehre ist, die Menschen und diversen Stakeholder besser auf KI-Anwendungen vorzubereiten. Eine ausführliche interne Testung gefolgt von einer kontrollierten, länger angesetzten und begleiteten BETA-Test-Phase, ist ab jetzt ein Muss. Das AMS könnte einen kleinen Schritt zurück machen und das Rollout-Verfahren korrigieren. So könnten sich Stakeholder konstruktiv einbringen. NGOs könnten ihre Bedenken bezüglich Datenschutz, Sexismus, Rassismus und Ungleichheit gefahrlos erforschen und Feedback geben. Die Medien würden sich dann hoffentlich weniger auf die Schwächen konzentrieren und auch die Stärken hervorheben, was das Vertrauen in die Behörden stärkt.

Denn ein Projekt, das offen zugibt, innovativ, aber auch noch fehleranfällig (also BETA) zu sein, wird weniger Ziel von Kritik sein, sondern einladen, unvoreingenommen getestet zu werden

Deine ungelesenen Artikel:
vor 9 Stunden

Shopstory: NÖ-Startup mit zahlreichen bekannten Investoren muss Konkursantrag einbringen

Shopstory konnte in der Vergangenheit eine ganze Reihe teils prominenter Investoren für sich gewinnen. Nun brachte das Startup mit Sitz im niederösterreichischen Wolkersdorf einen Konkursantrag ein. Co-Founder und CEO Sebastian Schwelle gab brutkasten dazu ein Statement.
/artikel/shopstory-noe-startup-mit-zahlreichen-bekannten-investoren-muss-konkursantrag-einbringen
vor 9 Stunden

Shopstory: NÖ-Startup mit zahlreichen bekannten Investoren muss Konkursantrag einbringen

Shopstory konnte in der Vergangenheit eine ganze Reihe teils prominenter Investoren für sich gewinnen. Nun brachte das Startup mit Sitz im niederösterreichischen Wolkersdorf einen Konkursantrag ein. Co-Founder und CEO Sebastian Schwelle gab brutkasten dazu ein Statement.
/artikel/shopstory-noe-startup-mit-zahlreichen-bekannten-investoren-muss-konkursantrag-einbringen
Die Gründer Sebastian Schwelle (CEO) und Robert Böhm (CTO). (c) Shopstory

Ursprünglich unter dem Namen boomerank gegründet, setzte das niederösterreichische Startup Shopstory von Beginn an auf KI-gestützte Automatisierungslösungen für den E-Commerce-Bereich – brutkasten berichtete erstmals 2019. Das erklärte Ziel: Mit Hilfe intelligenter Assistenzsysteme sollten kleine Player im Wettbewerb mit Giganten wie Amazon nicht untergehen. Mit dem KI-Boom der vergangenen Jahre wurde das Angebot weiter nachgeschärft – 2024 etwa mit dem Launch einer No-Code-Plattform.

Hansmann, PlanRadar-Gründer, tecnet, aws Gründungsfonds und weitere als Investoren an Bord

Der Ansatz überzeugte im Laufe der Jahre eine ganze Reihe bekannter Investoren und Investmentgesellschaften. 2021 stiegen der niederösterreichische VC tecnet equity, startup300 und Unternehmer Patrick Pöschl ein; 2022 folgten unter anderem Hansi Hansmann und Alexander Valtingojer; in zwei Finanzierungsrunden 2023 zudem Johannes Braith, calm/storm, die PlanRadar-Gründer Sander van de Rijdt und Ibrahim Imam, Alexander Schütz und der aws Gründungsfonds.

Gründer Sebastian Schwelle: „tragfähige und langfristige Lösung bis jetzt nicht gefunden“

Doch wie die Kreditschutzverbände heute vermeldeten, brachte Shopstory nun einen Konkursantrag ein. Konkrete Informationen, etwa zur Höhe der Passiva, liegen in den Angaben der Kreditschutzverbände aktuell nicht vor. Co-Founder und CEO Sebastian Schwelle gab brutkasten jedoch auf Anfrage ein Statement:

„Der Markt, in dem wir uns bewegen, hat sich in den letzten Monaten massiv verändert. Durch die rasanten Fortschritte im AI-Bereich ist es für ein kleines Team wie unseres immer schwieriger geworden, sich zu behaupten. Wir haben alle Optionen geprüft und versucht umzusetzen, aber eine tragfähige und langfristige Lösung bis jetzt nicht gefunden. Deshalb haben wir einen Insolvenzantrag gestellt. Ich möchte mich bei unserem Team, unseren Kund:innen und vor allem unseren Investor:innen für ihr Vertrauen und die tolle Zusammenarbeit bedanken.“

Weitere Schritte bleiben abzuwarten

Auf die Frage, ob eine Weiterführung noch in Betracht komme, antwortet Schwelle: „Die weiteren Schritte liegen nun beim vom Gericht bestellten Masseverwalter, mit dem wir uns abstimmen werden.“ Ein Konkursantrag mündet üblicherweise in die Liquidation des Unternehmens, es kann unter bestimmten Umständen aber noch nachträglich ein Sanierungsantrag eingebracht werden.

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

KI im Amt: Early Adopter mit Shitstorm-Garantie

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

KI im Amt: Early Adopter mit Shitstorm-Garantie

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

KI im Amt: Early Adopter mit Shitstorm-Garantie

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

KI im Amt: Early Adopter mit Shitstorm-Garantie

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

KI im Amt: Early Adopter mit Shitstorm-Garantie

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

KI im Amt: Early Adopter mit Shitstorm-Garantie

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

KI im Amt: Early Adopter mit Shitstorm-Garantie

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

KI im Amt: Early Adopter mit Shitstorm-Garantie

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

KI im Amt: Early Adopter mit Shitstorm-Garantie