Auf der diesjährigen uxcon hielt Elizabeth F. Churchill eine Keynote über die Zukunft der Mensch-Maschine-Interaktion. Sie ist Professorin sowie Gründungsdirektorin des Fachbereichs für Human-Computer Interaction (HCI) an der MBZUAI in Abu Dhabi und zählt zu den prägenden Stimmen im Bereich Psychologie, Künstliche Intelligenz und Kognitionswissenschaften.

Bei Google, eBay und Yahoo tätig

Im Laufe ihrer Karriere baute sie Forschungsteams für Tech-Giganten wie Google, eBay, Yahoo und PARC auf. Für ihre Führungsrolle und ihren Einfluss auf die Tech-Branche wurde die Wissenschaftlerin vielfach ausgezeichnet, zuletzt unter anderem mit dem SIGCHI Lifetime Practice Award 2024.

In Wien erörterte sie in den Hallen der Hauptuniversität das Zusammenspiel von Mensch und Technologie und erklärte brutkasten gegenüber den fundamentalen Paradigmenwechsel, der aktuell die gesamte Software-Welt erfasst: den Aufstieg agentischer KI-Systeme. Dabei machte sie deutlich, dass dieser Wandel ein neues Verständnis von Kontrolle und Autonomie erfordert.

Vom Werkzeug zum Agenten: Der Unterschied

Die entscheidende Veränderung bei KI sei weniger, dass Systeme „bessere Antworten“ geben, sondern dass sie zunehmend selbstständig handeln könnten. Klassische Software – ob deterministisches Werkzeug oder reaktives KI-System – habe stets auf konkrete Eingaben des Menschen gewartet.

Ein KI-Agent dagegen bekommt ein Ziel und bestimmte Rahmenbedingungen und kann daraus einen adaptiven Ausführungsplan ableiten, Werkzeuge und APIs nutzen sowie mehrere Schritte selbstständig ausführen. Bei Multi-Agenten-Systemen arbeiteten mehrere solcher Agenten zusammen, oft als sich selbst korrigierende „Schwärme“, die asynchron im Hintergrund laufen.

Damit verändert sich auch die Rolle des Menschen „dramatisch“: Menschen bedienen das System nicht mehr zwangsläufig Schritt für Schritt, sondern würden zu einer Art „Flugdirektor“ (Supervisory UX), der Ergebnisse definiere und den Weg dorthin überwache. Diese Entwicklung bringe, Churchill zufolge, bisherige, starre Benutzeroberflächen an ihre Grenzen.

Ghost-State-Dilemma

Wenn Agenten im Hintergrund arbeiteten, drohe Nutzer:innen der Verlust des Kontexts – ein sogenanntes „Ghost-State-Dilemma“, bei dem nicht mehr nachvollziehbar sei, in welchem Zustand sich Prozesse aktuell befänden. Ein Kernrisiko dabei ist die unterschiedliche Entscheidungsarchitektur (Choice Architecture) von Mensch und Maschine: Während der Mensch bei Aufgaben – wie etwa einer Hotelbuchung – intuitive, visuelle und kontextuelle Nuancen (Größe des Zimmers, Lage) abwäge, operierten Agenten rein deterministisch anhand von API-Vorgaben.

Diese Diskrepanz kann dazu führen, dass Agenten durch kumulative Fehler vom eigentlichen Ziel abwichen oder APIs auf unerwartete Weise ausnutzten. Achtsam mit agentischen Systemen zu arbeiten, erfordere deshalb ein völlig neues Design-Paradigma: Autonomie müsse bewusst begrenzt und Kontrolle sichtbar gehalten werden, meint Churchill.

Kill Switches

Aus diesem Rollenwechsel leitet die Expertin konkrete Gestaltungsmechanismen ab: Vor kritischen Aktionen sollte der Mensch geplante Schritte in sogenannten „Trockenläufen“ (Plan Dry Runs) prüfen und freigeben können. Zudem brauche es klare und vor allem transparente Zusammenfassungen, sobald sich ein Prozess plötzlich ändert, sowie „Circuit Breaker“ (Kill Switches), um laufende Prozesse sofort zu unterbrechen, falls sie aus dem Ruder laufen.

Die zentrale Frage lautet somit für Churchill nicht mehr nur: „Was kann die KI?“, sondern: „Wie gestalten wir die Sichtbarkeit ihrer autonomen Entscheidungen – und wo muss der Mensch zwingend die Kontrolle behalten?“

„Je höher die Tragweite des Kontexts, desto weniger Autonomie sollte das KI-System bei kritischen Entscheidungen haben“, sagt sie. Wo genau diese Grenze verläuft, müssten KI-Designer für jeden Anwendungsfall neu bestimmen.

Die Falle der heimlichen Entmächtigung

Aus Churchills Sicht sei ein entscheidender Punkt, dass Unternehmen die Falle der „heimlichen Entmächtigung“ vermeiden müssten, also der stillen Einschränkung menschlicher Handlungsfähigkeit unter dem „Deckmantel der Bequemlichkeit“. Systeme sollten keine „undurchsichtigen Blackboxen“ sein, die allein Entscheidungen treffen.

Co-Governance als Notwendigkeit

Über einzelne Sicherheitsmechanismen hinaus brauche es laut Churchill zudem ein grundsätzliches Governance-Prinzip: Menschen gewöhnten sich zunehmend daran, mit Systemen über Gespräche einfache Aufgaben zu erledigen. Wenn es jedoch um wichtige oder emotionale Entscheidungen gehe, stießen sie schnell an ihre Grenzen. Deshalb müssten sie im Sinne von Co-Governance weiterhin informiert und in den Entscheidungsprozess eingebunden bleiben.

Churchills Erfahrung nach konzentriert sich die Industrie vor allem auf Leistungstests, gute Sprache und die Fähigkeiten von KI-Modellen. Dabei würde die langfristige Wirkung auf Menschen und Gesellschaft oft zu wenig berücksichtigt.

„Menschliche Erfahrung bleibt chaotisch, kulturell vielfältig und in gelebten Umgebungen verankert“, sagt sie. „Wir müssen den Fokus vom Bau von Generalisten-Modellen, die plausible Antworten produzieren, hin zur Entwicklung kulturell kontextualisierter und resilienter Werkzeuge verschieben, die echtes menschliches Aufblühen (human flourishing) und kritisches Denken unterstützen.“

Ratschläge für Startups

Laut Churchill sei es ein großer Fehler, generative KI als Ersatz für Fachwissen zu sehen. Sie sollte vielmehr dazu dienen, vorhandenes Fachwissen zu unterstützen und zu erweitern. Startups würden dabei oft ein zentrales Problem übersehen: Sie würden Foundation-Modelle in „Thin Wrappers“ verpacken (wie automatisierte Bewerber-Screenings oder Kundensupport-Bots), ohne robuste Schutzmechanismen einzubauen.

„So sahen sich beispielsweise Unternehmen wie die ‚National Eating Disorders Association‚ (NEDA) unmittelbar mit Gegenreaktionen konfrontiert, nachdem sie geschulte menschliche Mitarbeiter der Helpline durch einen KI-Chatbot ersetzt hatten, der innerhalb weniger Tage begann, schädliche Ratschläge zum Thema Diäten zu geben“, nennt sie ein warnendes Beispiel. „Unternehmen können erfolgreich sein, wenn sie KI direkt in spezifische, professionelle Arbeitsabläufe einbetten, beispielsweise indem sie das Modell als fachkundiges kollaboratives Gerüst behandeln, anstatt zu versuchen, die Fachkraft vollständig zu automatisieren bzw. überflüssig zu machen.“

„Ich vermeide gerne utopische und dystopische Visionen“

Neben der Gefahr, dass Menschen aus der Kontrolle gedrängt werden, sieht Churchill ein zweites Problem: die Eskalation des Wettbewerbs der Tech-Giganten rund um KI, die sie als berechtigte Krise innerhalb der Spitzenforschung bezeichnet.

„Leider übertreffen wettbewerbsorientierte Marktanreize die Governance-Mechanismen immer wieder“, sagt sie. „Es ist enttäuschend, dass dies der Fall ist. Aber das Problem als ein spekulatives Science-Fiction-Szenario des Aussterbens zu rahmen, kann von systemischen Schäden ablenken, die in Echtzeit stattfinden. Persönlich vermeide ich gerne utopische und dystopische Visionen. Daher bin ich weniger besorgt über eine sich selbst verbessernde Superintelligenz, die außer Kontrolle gerät, als vielmehr über den schleichenden Zusammenbruch institutioneller Verantwortlichkeit und die Übertragung lebensverändernder Entscheidungen an fragile, nicht nachvollziehbare statistische Systeme.“

Florieren kleiner Volkswirtschaften

Für Europa sieht Churchill in diesem „Rennen“ mit den USA und Asien „nicht alles verloren“, vielmehr bestehe der Fehler darin, die hochzentralisierten, rechenintensiven Foundation-Modelle aus Silicon Valley oder Shenzhen zu kopieren.

„Ich glaube, dass die Zukunft der KI auf Vertrauen, Präzisionstechnik, eingebetteter industrieller Automatisierung, souveräner Dateninfrastruktur und strikter regulatorischer Compliance (EU AI Act) beruht“, betont sie. „Kleine Volkswirtschaften mit hohem Vertrauen wie Österreich werden florieren, indem sie spezialisierte Nischen fördern. Wie etwa verifizierbare industrielle KI, menschenzentrierte Fertigungsautomatisierung, hochzuverlässige biomedizinische Werkzeuge und vertrauenswürdige Systeme des öffentlichen Sektors.“

Die Welt in fünf Jahren

Churchill wagt einen – wenn auch schwierigen – Blick in die Zukunft: „In fünf Jahren wird die Neuartigkeit von Konversationen hoffentlich nicht mehr so sehr im Mittelpunkt der Aufmerksamkeit stehen“, meint sie. „Hoffentlich werden wir erkennen, dass der generative Hype eine Infrastrukturphase für eine Ära hybrider kollektiver Intelligenz war. Die dominante Herausforderung wird nicht die technische Skalierung sein, sondern soziotechnische kognitive Architekturen. Und die Frage, wie wir das Bauen, Managen, Ausbilden, Kurskorrigieren und Steuern navigieren, wenn hybride menschlich-synthetische Agentenlogik in die grundlegende Struktur der täglichen Arbeit und des gesellschaftlichen Lebens eingewoben ist?“