22.09.2023

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

An der Hochschule St. Gallen veranstaltete Thomas Burri einen Praxis-Stresstest für den AI Act. Warum die Ergebnisse Grund zur Sorge sind.
/artikel/praxis-stresstest-zeigt-der-ai-act-saet-unsicherheit
Thomas Burris Wettbewerb zeigte den Teilnehmer:innen, was der AI Act in der Praxis bedeutet. Foto: HSG/Grand Challenge
Thomas Burris Wettbewerb zeigte den Teilnehmer:innen, was der AI Act in der Praxis bedeutet. Foto: HSG/Grand Challenge

„Im Moment sind wir mit Künstlicher Intelligenz in Europa in einer extrem kritischen Phase. Es gibt viele Leute, die begeistert sind und versuchen, etwas zu machen. In den nächsten Jahren wird sich entscheiden, ob daraus eine Industrie wird oder nicht“, sagt Thomas Burri. Er ist Professor für Europa- und Völkerrecht an der Universität St. Gallen (HSG). Seit Jahren beschäftigt er sich mit neuen intelligenten Systemen – und auch mit Künstlicher Intelligenz.

Bootcamp mit Stresstest für AI Act

An der HSG veranstaltete er im Juli einen Wettbewerb, bei dem die Teilnehmenden in einer Art Bootcamp verschiedene KI-Anwendungen einem Praxis-Stresstest unterzogen. Die Siegerteams der First University of St. Gallen Grand Challenge: The EU A.I. Act 2023 erhielten insgesamt 100.000 Schweizer Franken für Forschungszwecke. Vorbild für den Wettbewerb waren die Grand Challenges der DARPA, am Schluss wurden zwei Sieger gekürt.

„Jedes Team hatte die Aufgabe, die KI-Verordnung (AI Act) zu nehmen und auf eine Reihe von sehr unterschiedlichen KI-Anwendungen anzuwenden“, erklärt Burri. Die KI-Systeme umfassten ein breites Spektrum – darunter waren z.B. Lieferroboter, Fahrzeuge, Bauttechnologie oder Medizintechnik. Sie wurden von Unternehmen beigesteuert, die laut dem AI Act als sogenannte AI-Providers gelten. Darunter die Deutsche Telekom, Mercedes-Benz, Ascento oder Deltia.ai.

Bereits im Vorfeld des Wettbewerbs mussten die Teams Methoden entwickeln, um die KI-Systeme zu bewerten. Bereits Monate vorher besuchten die Teilnehmer:innen AI-Providers und führten Interviews mit ihnen – zur Vorbereitung. Das zweitägige Bootcamp war dann der Höhepunkt der Challenge. Unter Zeitdruck hörten sich die Challenge-Teilnehmer:innen dann die Produktdemos der AI-Provider an und durften diesen Fragen zu ihrem Produkt stellen. Abschließend gaben sie ihre Berichte mit den Einschätzungen ab, die von einer Jury bewertet wurden.

Beispiel: Machen Baristas genug Kaffee?

Geheim bleibt allerdings, welche KI-Systeme die Teilnehmer:innen konkret zu beurteilen hatten. Dasselbe gilt für die Berichte, weil so die Geschäftsgeheimnisse der AI-Providers gewahrt werden sollen. Die Teilnehmer:innen mussten Verschwiegenheitserklärungen (NDAs) unterschreiben.

Im brutkasten-Interview erläutert Veranstalter Burri die Schwachstellen des Gesetzes stattdessen anhand eines anderen Beispiels. Eine ähnliche Frage hatte auch die Challenge-Teilnehmer:innen beschäftigt.

In den vergangenen Wochen kursierte ein Video. Es zeigt, wie mittels KI ausgewertet wird, wie viel Tassen Kaffee einzelne Baristas zubereiten. Das Beispiel sorgte für Gesprächsstoff, viele hielten diese KI-Anwendung für ethisch fragwürdig.

Wird die KI in diesem Fall dazu verwendet, die Performance von Angestellten zu messen? Oder geht es darum, gewisse Arbeitsprozesse zu verbessern? Bei der Antwort gebe erheblichen Interpretationsspielraum. „Wenn man sagt, dass es die Optimierung eines Arbeitsprozesses ist, gibt es gar keine Pflichten“, erklärt der Hochschulprofessor – und sei somit nach dem AI Act zulässig.

Gefährlich oder doch nicht?

Wegen solcher Fälle sieht Burri Verbesserungsbedarf beim EU-Gesetzesentwurf. Dessen Ausgestaltung sei im Anhang III (Hochrisiko-Systeme) zu detailliert und lasse im sogenannten Pflichtenheft dafür zu großen Interpretationsspielraum zu. Letzteres mache „fast keinen Sinn, weil die Pflichten so allgemein gehalten sind, dass sich die Provider heraus mogeln können“, sagt Burri.

Die Hälfte der Teams sagt: Nein, das ist nicht gefährlich. Die andere Hälfte sagt: Doch – super gefährlich!

Thomas Burri, Professor für Europa- und Völkerrecht, Universität St. Gallen (HSG)

Obwohl die elf Teams die gleichen KIs beurteilen mussten, seien sie zu sehr unterschiedlichen Einschätzungen gelangt: „Die Hälfte der Teams sagt: Nein, das ist nicht gefährlich. Die andere Hälfte sagt: Doch – super gefährlich“, erzählt Burri. Auch bei vielen Unternehmen könnte das EU-Gesetz deshalb zur Verunsicherung und Verwirrung führen, glaubt der HSG-Professor.

Praktische Umsetzung hapert

In einem Blog-Artikel erzählt die Challenge-Gewinnerin Emmie Hine, dass die Einhaltung des AI Acts zwar möglich, aber hürdenreich sei: „Eine der Hauptschwächen des Gesetzes ist, dass es keine Möglichkeit gibt, enthaltene Grundsätze, wie z. B. die Entscheidungsfreiheit, in die Praxis umzusetzen. Irgendwann soll ein offizieller Verhaltenskodex veröffentlicht werden. Aber Unternehmen müssen jetzt darüber nachdenken, wie sie KI für die Einhaltung von Vorschriften gestalten wollen“, schreibt Hine.

Der Praxis-Stresstest in St. Gallen zeigte Mängel der KI-Verordnung auf. „Mit dem AI Act sähen wir Unsicherheit bei genau den Leuten, auf die wir unsere Zukunft bauen wollen. Ich habe grundlegende Zweifel, ob das aus der Policy-Making-Perspektive so klug ist“, so Burri. Für die Veranstalter:innen ist ein Resümee aus der Grand Challenge, dass eine teilweise Überarbeitung des derzeitigen Entwurfes sinnvoll wäre: „Meine Vermutung ist, dass wir, vorsichtig ausgedrückt, übers Ziel hinaus oder am Ziel vorbeischießen“, sagt der Rechtsexperte.

Ob sich die jetzt kommenden zarten Pflänzchen zu etwas entwickeln, das wirkliche Power hat, entscheidet sich in den nächsten Jahren.

Thomas Burri, Professor für Europa- und Völkerrecht, Universität St. Gallen (HSG)

Gerade KI-Startups könnte der Act in seiner derzeitigen Form einbremsen. „Ob sich die jetzt kommenden zarten Pflänzchen zu etwas entwickeln, das wirkliche Power hat, entscheidet sich in den nächsten Jahren“, so Burri. „Wir sollten uns schon fragen: Was ist mit künstlicher Intelligenz bis jetzt für einen Schaden passiert?“ Denn die bisherigen Schadensfälle durch KI seien alle zumindest teilweise von bestehenden Regeln abgedeckt. „Oder sie haben nur beschränkt etwas mit künstlicher Intelligenz zu tun, sondern mit Excel-Files, die schlecht gehandhabt wurden“, meint Burri. Damit spielt er auf den Umstand an, dass die Gesetzgebung der technischen Entwicklung hinterherhinkt.

Für Burri stellt sich nach der Grand Challenge die Frage, ob die Verordnung wirklich hält, was sie verspricht. Oder werden damit eigentlich andere Ziele verfolgt? „Vielleicht wollen wir versuchen, unseren Markt abzuschirmen, damit wir eigene Unternehmen hochziehen können und das nicht einfach Big Tech alles erledigt. Aber dann ist aber die Zweck der Verordnung ein völlig anderer. Dann machen wir Protektionismus“, meint Burri.

Was Startups von St. Gallen lernen können

Pro Team gab es mindestens ein:e Jurist:in sowie Computerwissenschaftler:in. Mit dabei waren auch Personen, die in Startups tätig sind. „Startups haben tendenziell eine technische Perspektive. Sie überlegen sich nicht, was menschliche Aufsicht eigentlich bedeutet. Sie sagen: Wenn irgendwas nicht läuft, setze ich mich an den Computer und schaue den Code an“, meint der HSG-Professor. Der AI Act fordere allerdings detaillierte Risikoanalysen, die für Techniker:innen in der Form ungewohnt seien. Zu Vorbereitung auf die neue Regulierung könne es für Startups sinnvoll sein, das Frage-Antwort-Prinzip von der Grand Challenge zu übernehmen. Sie können sich Gedanken darüber machen, was der AI Act für ihre KI-Anwendung bedeutet.

Emmie Hine kritisiert in ihrem Blog-Beitrag auch, dass es zu wenig Informationen für KMUs und Startups gebe. „Nach meiner Erfahrung in Informatik und Software-Engineering konzentriert sich der Großteil der Ingenieurausbildung und -arbeit auf das, was man tun kann, und nicht darauf, was man tun sollte“, so die Teilnehmerin.

Wollen EU-Startups diskriminieren?

Für Startups, die mit KI arbeiten, wird das Vorhaben weitreichende Konsequenzen haben. „Ich sehe im Startup-Environment viel Gutes, da gibt es viele interessante neue Erkenntnisse. Die Leute, die sich da engagieren, die sind wohlwollend. Sie wollen nicht diskriminieren, sondern eine Anwendung machen, die etwa der Krebsforschung weiterhilft“, so Burri. „Wenn die nur Leuten mit weißer Hautfarbe hilft, dann ist das ein Problem. Aber dieses Problem wollen sie auch lösen“, glaubt der HSG-Professor.

Im Rahmen der Grand Challenge arbeiteten die Organisator:innen unter anderem mit der KI-Investment-Plattform Merantix aus Berlin zusammen. Nicht nur für die Teilnehmer:innen war der Stresstest eine wichtige Lernerfahrung. „Die AI-Provider waren fast durchwegs überrascht, welche Fragen aufkommen, über die sie noch nie nachgedacht haben“, erzählt Burri. Praxistests für neue Gesetze sind die Ausnahme, wenngleich sie sie aber erhebliche Auswirkungen auf Geschäftsmodelle haben.

„Die Teams haben ihre Fertigkeiten geschärft und gemerkt, ob das, was sie machen funktioniert. Außerdem haben sie Anwendungspraxis gesammelt und die Provider haben eine Art frühe und informelle Rechtseinschätzung gekriegt. Ohne dass sie zur Anwaltskanzlei rennen und 100.000 Euro deponieren mussten“, so Burri.

Deine ungelesenen Artikel:
20.11.2026

KI-Rede: Pröll schlägt Europäische Gemeinschaft für Rechenleistung vor

Digitalisierungsstaatssekretär Alexander Pröll hat am Donnerstagabend in der Österreichischen Nationalbibliothek die österreichische Agenda für Künstliche Intelligenz vorgelegt. Neu sind unter anderem die Vorschläge für eine Europäische Gemeinschaft für Rechenleistung und ein Staatsziel in der Verfassung, vieles andere war bereits bekannt. brutkasten war vor Ort.
/artikel/proell-ki-rede-kipppunkt
20.11.2026

KI-Rede: Pröll schlägt Europäische Gemeinschaft für Rechenleistung vor

Digitalisierungsstaatssekretär Alexander Pröll hat am Donnerstagabend in der Österreichischen Nationalbibliothek die österreichische Agenda für Künstliche Intelligenz vorgelegt. Neu sind unter anderem die Vorschläge für eine Europäische Gemeinschaft für Rechenleistung und ein Staatsziel in der Verfassung, vieles andere war bereits bekannt. brutkasten war vor Ort.
/artikel/proell-ki-rede-kipppunkt
Digitalisierungsstaatssekretär Alexander Pröll bei seiner KI-Grundsatzrede „Kipppunkt“ im Prunksaal der Österreichischen Nationalbibliothek. | © brutkasten/Martin Pacher
Digitalisierungsstaatssekretär Alexander Pröll bei seiner KI-Grundsatzrede „Kipppunkt“ im Prunksaal der Österreichischen Nationalbibliothek. | © brutkasten/Martin Pacher

„Macht euch die Erde untertan.“ Mit diesem Vers aus der Genesis eröffnete Digitalisierungsstaatssekretär Alexander Pröll (ÖVP) am Donnerstagabend seine Grundsatzrede zur Künstlichen Intelligenz. Seine Lesart: Der Mensch sei seiner Welt nicht ausgeliefert, er könne sie gestalten und trage dafür Verantwortung. Der Rahmen war für den Auftritt eines Staatssekretärs außergewöhnlich: der Prunksaal der Österreichischen Nationalbibliothek, Marmorstatuen, meterhohe Bücherwände und auf der LED-Wand hinter dem Redner zeitweise Leonardo da Vincis vitruvianischer Mensch. Rund 45 Minuten sprach Pröll unter dem Titel „Kipppunkt“.

Im Publikum saßen Bundeskanzler Christian Stocker, Wirtschaftsminister Wolfgang Hattmannsdorfer und zahlreiche Vertreter:innen der Wirtschaft. Auch Ex-Bundeskanzler Sebastian Kurz war gekommen, Co-Founder des Cybersecurity-Unicorns Dream. Die Rede war seit Längerem angekündigt, die Einladungen dazu kamen schriftlich per Post.

Inhaltlich war der Abend ein Mix aus bereits bekannten Vorhaben und neuen Ankündigungen. Die vorgelegte Agenda umfasst 15 Handlungsfelder und folgt drei Fragen: Wie bleibt Österreich handlungsfähig, wohlhabend und menschlich? Eine fertige Strategie ist sie noch nicht. Ab sofort kann die Bevölkerung die Vorschläge auf kipppunkt.gv.at bewerten und kommentieren, im Frühjahr 2027 werden die Rückmeldungen ausgewertet, im ersten Halbjahr 2027 soll die koordinierte KI-Strategie stehen. Pröll nannte das „eine gesamtgesellschaftliche Begutachtungsphase“. Dass die Strategie aus dem Jahr 2021 überarbeitet wird, hatte er zuletzt beim Technology Impact Summit in Graz bekräftigt (brutkasten berichtete).

Neu: Rechenleistung, Physical AI, Staatsziel

Neu ist vor allem ein Vorschlag zur Infrastruktur. Pröll schlug eine Europäische Gemeinschaft für Rechenleistung (EGR) vor, in der Staaten einen Teil ihrer Rechenkapazitäten miteinander verbinden, gemeinsam investieren und sich gegenseitig absichern. Er zog die Parallele zu den Anfängen der europäischen Einigung: „Aus Kohle und Stahl entstand eine Gemeinschaft.“ Europa müsse nicht jede Technologie selbst herstellen, aber „entscheiden können, auf welcher Infrastruktur seine Zukunft läuft“. Laut Bundeskanzleramt sind dafür keine Parallelstrukturen geplant, als Basis dienen bestehende EU-Strukturen und Finanzierungsinstrumente. Österreich wolle nun Partner auf europäischer Ebene gewinnen, sagte Pröll.

Für Österreich selbst skizzierte er Rechenzentren nach dem Motto „klein, grün, dezentral“. Gemeint sind mehrere regional verteilte Standorte, die wie ein virtuelles Rechenzentrum zusammenarbeiten, mit erneuerbarer Energie laufen und deren Abwärme etwa die Schule nebenan heizt.

Neu ist auch eine österreichische Mission für Physical AI. Österreich werde nicht das nächste Silicon Valley kopieren, sagte Pröll. Die Stärken lägen in Industrie, Maschinenbau, Automatisierung, Mobilität und Energie. Forschung, Industrie und Mittelstand sollen gemeinsam die nächste Generation intelligenter Maschinen entwickeln. Dazu kommen 1.000 zusätzliche KI-Workshops und je eine Dialogveranstaltung in allen neun Bundesländern. Außerdem will Pröll den Grundsatz „Technologischer Fortschritt muss dem Menschen dienen“ als Staatsziel in der Bundesverfassung verankern.

Bekannt: TikTok, UNO-Zentrum, Social-Media-Verbot

Andere Punkte waren schon vor der Rede öffentlich. Die Initiative, TikTok Europa in europäische Hände zu bringen, hatten Österreich und Deutschland am Tag davor gestartet. Pröll begründete sie mit dem Einfluss der Plattform auf die digitale Öffentlichkeit, mit dem Abfluss europäischer Daten und der Verdrängung klassischer Medien. Welche Lösung am Ende steht, lässt die Agenda offen: Beschränkungen sind ebenso denkbar wie eine europäische Eigentums- oder Übernahmelösung.

Auch das internationale KI-Zentrum unter dem Dach der Vereinten Nationen (UNO) in Wien, ein Vorschlag von Bundeskanzler Stocker, liegt seit Ende Oktober auf dem Tisch (brutkasten berichtete). Ebenfalls nicht neu ist das Social-Media-Verbot für Kinder und Jugendliche, für das sich die Regierung mittlerweile auf europäischer Ebene einsetzt. Pröll ging hier einen Schritt weiter: Die Volksschule solle ein digitalisierungsfreier Raum sein, ohne Smartphone, Laptop und iPad.

EU Inc.: Österreich unterstützt europäische Rechtsform

Auch eine für die Startup-Szene wichtige Forderung griff Pröll auf. Ein junges Technologieunternehmen, das über Österreich hinauswachsen wolle, müsse sich heute mit unterschiedlichen nationalen Gesellschaftsrechten und bürokratischen Anforderungen auseinandersetzen. „Das müssen wir ändern“, sagte Pröll. Österreich unterstütze die EU Inc. und wolle selbst digitaler werden, mit digitalen Verfahren, weniger nationalen Regelungen und schnellen Wegen für Gründer:innen, Talente und Investitionen. Um den Entwurf der Europäischen Kommission wird derzeit allerdings gerungen, erst am Donnerstag forderten Startup-Verbände, ihn zurückzuziehen und neu vorzulegen (brutkasten berichtete).

Zu Kosten und Finanzierung der Vorhaben nannte Pröll in seiner Rede keine Zahlen. Gegen Ende fasste er seinen Anspruch so zusammen: „Der Mensch bleibt der Zweck. Die KI bleibt das Mittel.“

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“