08.01.2024

KI im Amt: Early Adopter mit Shitstorm-Garantie

Gastbeitrag. Das AMS hat vergangene Woche einen KI-Chatbot veröffentlicht - und dafür scharfe Kritik einstecken müssen. Doch die teilweise überzogene Kritik offenbarte Widersprüche und mangelndes Projektverständnis, argumentiert Apollo.ai-Gründer Mic Hirschbrich. Er erläutert außerdem, was es künftig für solche Projekte braucht.
/artikel/ki-im-amt-early-adopter-mit-shitstorm-garantie
Mic Hirschbrich
Mic Hirschbrich | Hintergrundbild: Foto: AMS, Fotostudio B&G

Als brutkasten mich um eine Einschätzung zum neu gelaunchten AMS-Chatbot „Berufsinfomat“ bat, überschlugen sich bereits die Nachrichten. In Branchen-Blogs, Boulevardmedien und Qualitätspresse war schnell klar, was bei diesem KI-Projekt schiefgelaufen war.

Der Bot wurde kritisiert, sexistische Antworten zu liefern und Ungleichheit zu fördern, wie eine Radiosendung empört berichtete. Im Frühstücksfernsehen belächelte man die vielen unpassenden Antworten, und anderswo wurde behauptet, andere Anbieter hätten ein vergleichbares Service in Minuten nachgebaut.

Zudem wurde der hohe Preis von 300.000 Euro für einen als diskriminierend empfundenen Chatbot, der Männer und Frauen unterschiedlich behandle, kritisiert. Viele X-User verglichen dies mit dem „Kaufhaus Österreich“ und sahen es als Verschwendung von Steuergeldern. Ein Digital-Experte im Radio-Live-Interview wirkte bei der Machart des Chatbots uninformiert und wiederholte lediglich gängige Sexismus-Vorwürfe.

Dabei wird kaum über die funktionierenden Teile der Software gesprochen, die jeder selbst testen kann. Auch wird selten erwähnt, dass eine Behörde endlich das tut, was man 2023 von ihr erwarten sollte: sich digital etwas zu trauen. Bei der übermäßigen Welle der Kritik am AMS-Chatbot scheint es nicht nur um die suboptimale Launch-Strategie zu gehen, während andere vergleichbare Projekte kaum Beachtung finden.

Ein Tweet von Martin Thür bringt es auf den Punkt: „Ich habe keinen einzigen kritischen Artikel zum Chatbot der Stadt Wien gefunden. Nicht einmal dessen Kosten sind offengelegt. Mir scheint, nicht nur die KI hat einen Bias.“

Die teilweise überzogene Kritik offenbarte Widersprüche und mangelndes Projektverständnis. Markus Kaiser, ehemaliger Geschäftsführer des BRZ, drückte seine Verwunderung auf LinkedIn aus. Auch scheint es, dass die Medien nicht gründlich recherchieren, warum eine Behörde diese Lösung wählte, und begnügen sich mit oberflächlicher User-Testung. Wer so vorgeht, kann ein jedes Produkt eines generativen Modells in Grund und Boden kritisieren. Es wirkt, als stünde eigentlich ein anderes Thema im Vordergrund: Der Nimbus, dass wir Digitalisierung (im öffentlichen Bereich) einfach nicht können.

In Wahrheit fehlt es auf beiden Seiten am Verständnis, wie solche Projekte eingeführt werden sollen, sowohl auf Betreiber- als auch auf Stakeholder-Seite. Aber zumindest das lässt sich lösen.

Was es für solche Projekte künftig braucht:

BETA-Kultur 2.0

Vor Jahren kam die BETA-Test-Kultur aus dem Silicon Valley zu uns. Produkte wurden zuerst intern, dann ausführlich extern getestet. Diese Kultur ist mittlerweile fast verschwunden, was der digitalen Innovationskultur schadet. Die Entwicklung komplexer Produkte erfordert Offenheit, hohe Fehlertoleranz und eine breit getragene Feedback-Kultur. Wir sollten solche Phasen wieder einführen, besonders im Bereich generativer KI, um ausreichend Userfeedback zu sammeln und unvermeidliche Fehler auszumerzen. Richtig kommuniziert sollte jedem User klar sein, dass der Hinweis „es können fehlerhafte Inhalte produziert werden“ ernst gemeint ist.

Bullshit-Verbot bei KI-Themen

Früher gab es ein Bullshit-Eldorado bei Tech-Themen. Heute ist unser Umgang mit Informationen faktischer und verantwortungsvoller. Doch der Druck zur Übertreibung stieg wieder, ausgelöst durch Branchenriesen wie OpenAI und Microsoft. Die Erwartungen, was KI leisten kann, sind durch falsche Versprechungen und Medienberichte überhöht. Der Weg zu belastbaren und sicheren b2b KI-Anwendungen ist in Wahrheit aufwendig und erfordert Expertise und Ressourcen (besonders im öffentlichen Dienst). Aber er lohnt sich.

Mut zu KI-Projekten bei Ämtern und Behörden

Der neue Shitstorm könnte Ämtern und Behörden den Mut nehmen, eigene Innovationsprojekte voranzutreiben. Doch genau dieser ist wichtig. Jedes Amt, jedes Ministerium sollte Startups die Chance geben, ihre Technologie einzusetzen. Dem AMS gebührt Respekt für seinen Mut, insbesondere nach dem davor erlebten Shitstorm zum sogenannten „AMS-Algorithmus“, der aber keine KI war, wie es Medien und NGOs ebenfalls und überwiegend falsch kommunizierten.

Das Problem mit unserer unfair verteilten Fehlertoleranz

Das AMS, wie viele andere in unserer Region, steht vor einer besonderen Herausforderung: Als OpenAI ChatGPT für alle zugänglich wurde und schnell 100 Millionen Nutzer erreichte, herrschte auch bei uns große Euphorie. Die Kritik an den noch offensichtlichen, zahlreichen Schwächen des Systems war dabei fast nicht vorhanden. Man hörte oft: „Ja, es gibt Probleme mit Halluzinationen und dem ‚Reasoning‘, das Datenschutz- und Knowledge-Graph-Problem ist noch nicht gelöst, aber nutzt es trotzdem sofort, sonst seid ihr nicht mehr zu retten.“

Ganz anders ist die Reaktion, wenn ein europäischer oder österreichischer Anbieter einen KI-Service vorstellt und bewirbt. Hier herrscht fast eine Nulltoleranzpolitik. Kritik und eine gewisse Schadenfreude am Scheitern anderer sind dann häufig. Mittlerweile ist allgemein bekannt, dass Trainingsdaten für KI voreingenommen sein können – ein Spiegelbild der menschlichen Entscheidungen, auf denen sie basieren. Diese Voreingenommenheit wird normalerweise durch Tests entdeckt und behoben (wenn es doch nur bei Mitarbeitern und Kunden so einfach wäre). KI-Projekte im Einklang mit Datenschutzvorschriften zu gestalten, ist Neuland und aufwendig, und auch die Sicherheitsaspekte können kostspielig sein.

Wie könnte es mit dem AMS Berufsinfomat weitergehen?

Eine wichtige Lehre ist, die Menschen und diversen Stakeholder besser auf KI-Anwendungen vorzubereiten. Eine ausführliche interne Testung gefolgt von einer kontrollierten, länger angesetzten und begleiteten BETA-Test-Phase, ist ab jetzt ein Muss. Das AMS könnte einen kleinen Schritt zurück machen und das Rollout-Verfahren korrigieren. So könnten sich Stakeholder konstruktiv einbringen. NGOs könnten ihre Bedenken bezüglich Datenschutz, Sexismus, Rassismus und Ungleichheit gefahrlos erforschen und Feedback geben. Die Medien würden sich dann hoffentlich weniger auf die Schwächen konzentrieren und auch die Stärken hervorheben, was das Vertrauen in die Behörden stärkt.

Denn ein Projekt, das offen zugibt, innovativ, aber auch noch fehleranfällig (also BETA) zu sein, wird weniger Ziel von Kritik sein, sondern einladen, unvoreingenommen getestet zu werden

Deine ungelesenen Artikel:
vor 12 Stunden

Zwischen Empathie und KI-Skills: Innox-Gründer Hans Sailer über den Wandel des Innovationsmanagements

Hans Sailer hat mit Innox ein Netzwerk aufgebaut, das Innovationsmanager:innen aus Österreich, Deutschland und der Schweiz branchenübergreifend zusammenbringt. Im Interview spricht er über den Wandel seiner Zunft, über Corporate Venturing zwischen Hype und langem Atem und darüber, warum Innovationsmanager:innen künftig KI-Agenten orchestrieren werden.
/artikel/innoxnetwork-hans-sailer-interview
vor 12 Stunden

Zwischen Empathie und KI-Skills: Innox-Gründer Hans Sailer über den Wandel des Innovationsmanagements

Hans Sailer hat mit Innox ein Netzwerk aufgebaut, das Innovationsmanager:innen aus Österreich, Deutschland und der Schweiz branchenübergreifend zusammenbringt. Im Interview spricht er über den Wandel seiner Zunft, über Corporate Venturing zwischen Hype und langem Atem und darüber, warum Innovationsmanager:innen künftig KI-Agenten orchestrieren werden.
/artikel/innoxnetwork-hans-sailer-interview
Innox-Gründer Hans Sailer. (c) brutkasten / Haris Dervisevic

Wer Innovationsmanagement hört, denkt an Methoden, an Design Thinking, Scouting, Stage Gates. Hans Sailer nennt etwas anderes zuerst: Empathie. Ohne Draht in die Fachabteilungen und in den Vorstand komme man nicht weit, weil dort das Wissen liege. Sailer hat mit Innox ein Netzwerk aufgebaut, in dem sich Innovationsmanager:innen aus Österreich, Deutschland und der Schweiz austauschen, und dabei beobachtet, wie sich ihre Rolle laufend verändert hat: von Ideenmanagement über Open Innovation bis zum Corporate Venturing.


brutkasten: Was war der ausschlaggebende Grund, Innox zu gründen? Gab es eine Vision oder hat sich das organisch entwickelt?

Hans Sailer: Es hat keine Vision gegeben. Am Anfang war einfach ein Treffen von fünf Firmen, die sich austauschen wollten. Dabei waren A1, Magna, Siemens, Erste Bank und der ÖAMTC. Wir sind von einer Firma zur anderen gefahren und haben uns zum Beispiel angehört: Wie macht Siemens Innovation, welche weltweiten Ideen-Wettbewerbe gab es, was waren die Learnings? Mich hat das persönlich immer interessiert, ich hatte damals kein Geschäftsinteresse. Aus diesen fünf Firmen hat dann jeder gesagt: „Du, ich kenne da noch einen, kann die oder der mitgehen?“ So ist das über die Jahre gewachsen. Ich habe das fast zehn Jahre ohne Geschäftshintergrund gemacht, das war privates Vergnügen. Wir haben sogar eine Reise nach Hamburg gemacht und das Airbus Innovation Lab besucht.

Wann kam der Schritt in die Selbstständigkeit?

Irgendwann hat Casinos Austria gesagt: „Warum machst du dich nicht selbstständig?“ Da habe ich mir gedacht: Jetzt bin ich fünfzig. Wenn ich es jetzt nicht mache, dann mache ich es nie. Also habe ich gekündigt und mich selbstständig gemacht. Und dann ist es richtig losgegangen, weil ich gesehen habe, was passiert, wenn du deine ganze Energie konzentriert in eine Sache legst. Gleichzeitig kam die Pandemie. Ich habe geschaut: Was kann ich einem Innovationsmanager jetzt liefern, was er gut brauchen kann? Wir haben digitale Austausch-Treffen organisiert, bei denen Firmen erzählt haben, welche Plattformen sie verwenden. Und ich habe gesehen: Online erreichst du viel mehr Leute. Da ist es auch in Deutschland losgegangen. Die deutschen Firmen tauschen sich genauso gerne aus wie die Österreicher und die Schweizer.

Was braucht ein guter Innovationsmanager, eine gute Innovationsmanagerin?

Das Wichtigste ist Empathie. Weil er oder sie Zugänge ins ganze Unternehmen braucht, ob zum Vorstand oder in eine Fachabteilung. Wenn man diesen Draht nicht aufbauen kann, wird es ganz schwierig, denn das Know-how liegt in den Fachabteilungen. Eine große Unterscheidung, die man machen muss: Bin ich Innovator:in oder bin ich Innovation Facilitator:in? Das war am Anfang oft stark verschwommen. Die Rolle der Innovationsmanager:innen hat sich seither laufend geändert und ändert sich gerade wieder extrem stark.

Inwiefern?

Als ich angefangen habe, gab es die ganzen Venturing-Bestrebungen noch gar nicht. Venturing ist in großen Firmen in der M&A-Abteilung passiert. Damals ging es in Corporates eher um Ideenmanagement-Plattformen und das Nutzen der internen Intelligenz, bald kam Open Innovation mit allen externen Stakeholdern, dann ist Design Thinking aufgekommen und ein verbessertes Trend- und Foresight-Management. Ab etwa 2015 kam das Venturing dazu, und plötzlich musstest du wissen: Wie kooperiere ich mit einem Startup? Wie bewerte ich ein Startup? Dieses Know-how hat ein Innovationsmanager vorher nie gebraucht. Das war auch für Corporates keine leichte Aufgabe, da ist viel Geld für diese Learnings ausgegeben worden.

Hans und Karin Sailer von Innox im Gespräch mit brutkasten-Chefredakteur Martin Pacher. (c) brutkasten / Haris Dervisevic

In dem Zusammenhang fällt oft der Begriff „Innovationstheater“.

Da muss man vorsichtig sein. Natürlich kann man Sichtbarkeit überbetonen, dann ist es Theater. Aber wenn ich nicht sichtbar mache, was meine Innovationsabteilung leistet, werde ich nicht wahrgenommen, und dann arbeiten die Abteilungen auch nicht gerne mit mir. Das ist ein feiner Grat. Wir haben oft erlebt, dass die Sichtbarkeit über externe Medien größer war als intern: Ohne Artikel in einer Zeitung bist du in der eigenen Firma gar nicht aufgefallen. Bei denen, die nie etwas auf die Straße gebracht haben, bin ich beim Vorwurf des Innovationstheaters dabei. Aber das wollte auch nie jemand bewusst.

Wie ordnest du Corporate Venturing in Österreich im Vergleich zu Deutschland ein?

Die Deutschen sind ein bisschen mutiger, haben vielleicht auch mehr Geld und nehmen Dinge als Erste in die Hand. Projekte, die wir bei der Innovationsagentur Hyve in Deutschland gemacht haben, haben wir zwei Jahre später in Österreich umgesetzt. Das Venturing ist dort schneller losgegangen, aber auch bei uns wurde es in einigen Corporates ordentlich aufgezogen. Dass Venturing auch ein Hype war, ist unbestritten, und wie bei jedem Hype gibt es Gewinner und Verlierer. Aber man kann aus heutiger Sicht nicht sagen: Das bringt nichts, das muss zurückgefahren werden. Man muss fragen: Wie gut ist es gemacht worden? Wenn du etwas komplett Neues herausbringst, brauchst du mindestens sieben Jahre, bis du damit etwas verdienst. Diesen langen Atem haben wenige Firmen. Jede Firma muss für sich draufkommen, ob das Vehikel zu ihr passt. Nur weil es bei einer anderen funktioniert hat oder nicht, heißt das nichts für die eigene.

Welchen Stellenwert hat Innovation in der aktuellen Wirtschaftskrise?

Dass Innovation näher ans Kerngeschäft geführt wird, ist sichtbar. In Krisen wird üblicherweise viel zusammengefahren, das hat man in der Pandemie ganz stark gesehen. Aber es kommt der Punkt, an dem alle Firmen sagen: „Ohne Innovation werden wir das nicht schaffen.“ Dann werden Innovationsabteilungen wieder größer aufgestellt, und diese Schwankungen tun mir oft weh. Ganz schlimm ist es, wenn eine Abteilung komplett aufgelöst wird. Dann verlierst du oft die Personen, die die kurzen Wege in die Firma hatten. Bis sich das jemand Neuer wieder erarbeitet hat, vergehen zwei Jahre. Das wird oft übersehen, wenn man zusammenspart. Vorteile durch Innovation erhalte ich dann nicht schnell auf Knopfdruck.

Und welche Rolle spielt KI?

So ein gutes Hilfsmittel hatten wir noch nie. Ich glaube, dass das Innovationsmanagement dadurch gerade wieder eine spannende Rolle bekommt. Die IT ist der technologische Enabler, aber nicht die Abteilung, die für die Transformation sorgt. Innovationsmanager:innen werden in Zukunft Orchestratoren von mehreren KI-Agenten sein: ein Agent für Foresight, einer für Patentprüfungen, einer für Potenzialanalysen. Wofür du früher zwei Wochen oder einen Monat gearbeitet hast, das bekommst du plötzlich in ein paar Minuten. Dann wird die Entscheidungsgeschwindigkeit zum KPI: Wie schnell kann ich mich auf ein Thema festlegen? Innovationsmanager:innen brauchen künftig eine Ahnung von Vibe Coding und davon, wie man KI-Agenten bestmöglich verwendet. Aber genauso muss man wissen, wie die eigene Firma tickt. Nur weil eine neue Technologie kommt, ist sie nicht sofort erfolgreich. Es geht immer mit dem Tempo, in dem du die Transformation machst. KI alleine wird dabei aber auch nicht die eierlegende Wollmilchsau sein. Entscheidend wird das Thema Ownership: Wer schnallt sich Ideen um und läuft die notwendigen Extrameilen, und wie realisiert man sie dann gemeinsam? Da wird es weiter Menschen brauchen, die ihre Firmen gut kennen, Know-how und ein Feingefühl für People-Management haben.

Ihr habt Ende August wieder euer Summercamp veranstaltet, diesmal bei der Austria Wirtschaftsservice (aws) und der FFG. Was ist die Idee hinter dem Format, und was waren heuer die wichtigsten Erkenntnisse?

Das Summercamp dient dem Zweck, sich mit möglichst vielen Innovationsmanager:innen aus anderen Unternehmen und anderen Branchen zu vernetzen, auf die man sonst nicht zugehen würde. Genau dieser Cross-Industry-Austausch ist wichtig, um neue Impulse zu bekommen und Partner für gemeinsame Projekte zu finden. Wir machen das mit interaktiven Übungen zu aktuellen Innovationsthemen, das ist ein bisschen wie zwei Tage intensives Speed-Dating mit ganz viel positiver Energie. Heuer waren wieder knapp 100 Personen dabei, die ihr Wissen teilen und offen über ihre Erfahrungen sprechen. In den Sessions ging es an den Beispielen AVL Creators Co-Lab und Wiener Stadtwerke um erfolgreiche Cross-Industry-Kooperationen, mit dem Lufthansa Innovation Hub um AI Augmented Leadership und mit Miele um Intrapreneurship versus Venture Building. aws und FFG stellten gemeinsam mit Infineon, Bionic Surface und XBC erfolgreiche Förderprojekte vor.

Unsere wichtigste Erkenntnis: Die Zusammenarbeit in Ökosystemen bringt Unternehmen viele Vorteile, dafür braucht es aber das Commitment aller Beteiligten, vor allem des oberen Managements, sowie eine gute Orchestrierung und moderierte Begleitung. Wir haben außerdem gesehen, dass Förderorganisationen Firmen mit ganz unterschiedlichen Services unterstützen, nicht nur mit Finanzierungen. Und KI bringt sehr unterschiedliche Erwartungshaltungen ins Unternehmen: Was sich das Management vorstellt und was in den Abteilungen tatsächlich möglich ist, liegt in der Praxis oft weit auseinander. Eine wesentliche Aufgabe der Innovationsabteilungen ist es, voranzugehen, gesichertes Wissen aufzubauen, mit der schnellen Entwicklung Schritt zu halten und eine vorteilhafte KI-Nutzung breit in der Firma zu etablieren.

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

KI im Amt: Early Adopter mit Shitstorm-Garantie

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

KI im Amt: Early Adopter mit Shitstorm-Garantie

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

KI im Amt: Early Adopter mit Shitstorm-Garantie

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

KI im Amt: Early Adopter mit Shitstorm-Garantie

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

KI im Amt: Early Adopter mit Shitstorm-Garantie

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

KI im Amt: Early Adopter mit Shitstorm-Garantie

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

KI im Amt: Early Adopter mit Shitstorm-Garantie

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

KI im Amt: Early Adopter mit Shitstorm-Garantie

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

KI im Amt: Early Adopter mit Shitstorm-Garantie