22.09.2023

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

An der Hochschule St. Gallen veranstaltete Thomas Burri einen Praxis-Stresstest für den AI Act. Warum die Ergebnisse Grund zur Sorge sind.
/artikel/praxis-stresstest-zeigt-der-ai-act-saet-unsicherheit
Thomas Burris Wettbewerb zeigte den Teilnehmer:innen, was der AI Act in der Praxis bedeutet. Foto: HSG/Grand Challenge
Thomas Burris Wettbewerb zeigte den Teilnehmer:innen, was der AI Act in der Praxis bedeutet. Foto: HSG/Grand Challenge

„Im Moment sind wir mit Künstlicher Intelligenz in Europa in einer extrem kritischen Phase. Es gibt viele Leute, die begeistert sind und versuchen, etwas zu machen. In den nächsten Jahren wird sich entscheiden, ob daraus eine Industrie wird oder nicht“, sagt Thomas Burri. Er ist Professor für Europa- und Völkerrecht an der Universität St. Gallen (HSG). Seit Jahren beschäftigt er sich mit neuen intelligenten Systemen – und auch mit Künstlicher Intelligenz.

Bootcamp mit Stresstest für AI Act

An der HSG veranstaltete er im Juli einen Wettbewerb, bei dem die Teilnehmenden in einer Art Bootcamp verschiedene KI-Anwendungen einem Praxis-Stresstest unterzogen. Die Siegerteams der First University of St. Gallen Grand Challenge: The EU A.I. Act 2023 erhielten insgesamt 100.000 Schweizer Franken für Forschungszwecke. Vorbild für den Wettbewerb waren die Grand Challenges der DARPA, am Schluss wurden zwei Sieger gekürt.

„Jedes Team hatte die Aufgabe, die KI-Verordnung (AI Act) zu nehmen und auf eine Reihe von sehr unterschiedlichen KI-Anwendungen anzuwenden“, erklärt Burri. Die KI-Systeme umfassten ein breites Spektrum – darunter waren z.B. Lieferroboter, Fahrzeuge, Bauttechnologie oder Medizintechnik. Sie wurden von Unternehmen beigesteuert, die laut dem AI Act als sogenannte AI-Providers gelten. Darunter die Deutsche Telekom, Mercedes-Benz, Ascento oder Deltia.ai.

Bereits im Vorfeld des Wettbewerbs mussten die Teams Methoden entwickeln, um die KI-Systeme zu bewerten. Bereits Monate vorher besuchten die Teilnehmer:innen AI-Providers und führten Interviews mit ihnen – zur Vorbereitung. Das zweitägige Bootcamp war dann der Höhepunkt der Challenge. Unter Zeitdruck hörten sich die Challenge-Teilnehmer:innen dann die Produktdemos der AI-Provider an und durften diesen Fragen zu ihrem Produkt stellen. Abschließend gaben sie ihre Berichte mit den Einschätzungen ab, die von einer Jury bewertet wurden.

Beispiel: Machen Baristas genug Kaffee?

Geheim bleibt allerdings, welche KI-Systeme die Teilnehmer:innen konkret zu beurteilen hatten. Dasselbe gilt für die Berichte, weil so die Geschäftsgeheimnisse der AI-Providers gewahrt werden sollen. Die Teilnehmer:innen mussten Verschwiegenheitserklärungen (NDAs) unterschreiben.

Im brutkasten-Interview erläutert Veranstalter Burri die Schwachstellen des Gesetzes stattdessen anhand eines anderen Beispiels. Eine ähnliche Frage hatte auch die Challenge-Teilnehmer:innen beschäftigt.

In den vergangenen Wochen kursierte ein Video. Es zeigt, wie mittels KI ausgewertet wird, wie viel Tassen Kaffee einzelne Baristas zubereiten. Das Beispiel sorgte für Gesprächsstoff, viele hielten diese KI-Anwendung für ethisch fragwürdig.

Wird die KI in diesem Fall dazu verwendet, die Performance von Angestellten zu messen? Oder geht es darum, gewisse Arbeitsprozesse zu verbessern? Bei der Antwort gebe erheblichen Interpretationsspielraum. „Wenn man sagt, dass es die Optimierung eines Arbeitsprozesses ist, gibt es gar keine Pflichten“, erklärt der Hochschulprofessor – und sei somit nach dem AI Act zulässig.

Gefährlich oder doch nicht?

Wegen solcher Fälle sieht Burri Verbesserungsbedarf beim EU-Gesetzesentwurf. Dessen Ausgestaltung sei im Anhang III (Hochrisiko-Systeme) zu detailliert und lasse im sogenannten Pflichtenheft dafür zu großen Interpretationsspielraum zu. Letzteres mache „fast keinen Sinn, weil die Pflichten so allgemein gehalten sind, dass sich die Provider heraus mogeln können“, sagt Burri.

Die Hälfte der Teams sagt: Nein, das ist nicht gefährlich. Die andere Hälfte sagt: Doch – super gefährlich!

Thomas Burri, Professor für Europa- und Völkerrecht, Universität St. Gallen (HSG)

Obwohl die elf Teams die gleichen KIs beurteilen mussten, seien sie zu sehr unterschiedlichen Einschätzungen gelangt: „Die Hälfte der Teams sagt: Nein, das ist nicht gefährlich. Die andere Hälfte sagt: Doch – super gefährlich“, erzählt Burri. Auch bei vielen Unternehmen könnte das EU-Gesetz deshalb zur Verunsicherung und Verwirrung führen, glaubt der HSG-Professor.

Praktische Umsetzung hapert

In einem Blog-Artikel erzählt die Challenge-Gewinnerin Emmie Hine, dass die Einhaltung des AI Acts zwar möglich, aber hürdenreich sei: „Eine der Hauptschwächen des Gesetzes ist, dass es keine Möglichkeit gibt, enthaltene Grundsätze, wie z. B. die Entscheidungsfreiheit, in die Praxis umzusetzen. Irgendwann soll ein offizieller Verhaltenskodex veröffentlicht werden. Aber Unternehmen müssen jetzt darüber nachdenken, wie sie KI für die Einhaltung von Vorschriften gestalten wollen“, schreibt Hine.

Der Praxis-Stresstest in St. Gallen zeigte Mängel der KI-Verordnung auf. „Mit dem AI Act sähen wir Unsicherheit bei genau den Leuten, auf die wir unsere Zukunft bauen wollen. Ich habe grundlegende Zweifel, ob das aus der Policy-Making-Perspektive so klug ist“, so Burri. Für die Veranstalter:innen ist ein Resümee aus der Grand Challenge, dass eine teilweise Überarbeitung des derzeitigen Entwurfes sinnvoll wäre: „Meine Vermutung ist, dass wir, vorsichtig ausgedrückt, übers Ziel hinaus oder am Ziel vorbeischießen“, sagt der Rechtsexperte.

Ob sich die jetzt kommenden zarten Pflänzchen zu etwas entwickeln, das wirkliche Power hat, entscheidet sich in den nächsten Jahren.

Thomas Burri, Professor für Europa- und Völkerrecht, Universität St. Gallen (HSG)

Gerade KI-Startups könnte der Act in seiner derzeitigen Form einbremsen. „Ob sich die jetzt kommenden zarten Pflänzchen zu etwas entwickeln, das wirkliche Power hat, entscheidet sich in den nächsten Jahren“, so Burri. „Wir sollten uns schon fragen: Was ist mit künstlicher Intelligenz bis jetzt für einen Schaden passiert?“ Denn die bisherigen Schadensfälle durch KI seien alle zumindest teilweise von bestehenden Regeln abgedeckt. „Oder sie haben nur beschränkt etwas mit künstlicher Intelligenz zu tun, sondern mit Excel-Files, die schlecht gehandhabt wurden“, meint Burri. Damit spielt er auf den Umstand an, dass die Gesetzgebung der technischen Entwicklung hinterherhinkt.

Für Burri stellt sich nach der Grand Challenge die Frage, ob die Verordnung wirklich hält, was sie verspricht. Oder werden damit eigentlich andere Ziele verfolgt? „Vielleicht wollen wir versuchen, unseren Markt abzuschirmen, damit wir eigene Unternehmen hochziehen können und das nicht einfach Big Tech alles erledigt. Aber dann ist aber die Zweck der Verordnung ein völlig anderer. Dann machen wir Protektionismus“, meint Burri.

Was Startups von St. Gallen lernen können

Pro Team gab es mindestens ein:e Jurist:in sowie Computerwissenschaftler:in. Mit dabei waren auch Personen, die in Startups tätig sind. „Startups haben tendenziell eine technische Perspektive. Sie überlegen sich nicht, was menschliche Aufsicht eigentlich bedeutet. Sie sagen: Wenn irgendwas nicht läuft, setze ich mich an den Computer und schaue den Code an“, meint der HSG-Professor. Der AI Act fordere allerdings detaillierte Risikoanalysen, die für Techniker:innen in der Form ungewohnt seien. Zu Vorbereitung auf die neue Regulierung könne es für Startups sinnvoll sein, das Frage-Antwort-Prinzip von der Grand Challenge zu übernehmen. Sie können sich Gedanken darüber machen, was der AI Act für ihre KI-Anwendung bedeutet.

Emmie Hine kritisiert in ihrem Blog-Beitrag auch, dass es zu wenig Informationen für KMUs und Startups gebe. „Nach meiner Erfahrung in Informatik und Software-Engineering konzentriert sich der Großteil der Ingenieurausbildung und -arbeit auf das, was man tun kann, und nicht darauf, was man tun sollte“, so die Teilnehmerin.

Wollen EU-Startups diskriminieren?

Für Startups, die mit KI arbeiten, wird das Vorhaben weitreichende Konsequenzen haben. „Ich sehe im Startup-Environment viel Gutes, da gibt es viele interessante neue Erkenntnisse. Die Leute, die sich da engagieren, die sind wohlwollend. Sie wollen nicht diskriminieren, sondern eine Anwendung machen, die etwa der Krebsforschung weiterhilft“, so Burri. „Wenn die nur Leuten mit weißer Hautfarbe hilft, dann ist das ein Problem. Aber dieses Problem wollen sie auch lösen“, glaubt der HSG-Professor.

Im Rahmen der Grand Challenge arbeiteten die Organisator:innen unter anderem mit der KI-Investment-Plattform Merantix aus Berlin zusammen. Nicht nur für die Teilnehmer:innen war der Stresstest eine wichtige Lernerfahrung. „Die AI-Provider waren fast durchwegs überrascht, welche Fragen aufkommen, über die sie noch nie nachgedacht haben“, erzählt Burri. Praxistests für neue Gesetze sind die Ausnahme, wenngleich sie sie aber erhebliche Auswirkungen auf Geschäftsmodelle haben.

„Die Teams haben ihre Fertigkeiten geschärft und gemerkt, ob das, was sie machen funktioniert. Außerdem haben sie Anwendungspraxis gesammelt und die Provider haben eine Art frühe und informelle Rechtseinschätzung gekriegt. Ohne dass sie zur Anwaltskanzlei rennen und 100.000 Euro deponieren mussten“, so Burri.

Deine ungelesenen Artikel:
vor 15 Stunden

„Austrian Venture & Growth Fund of Funds“: Regierung einigt sich auf konkrete Dachfonds-Umsetzung

Wirtschafts- und Finanzministerium haben sich auf die konkrete Ausgestaltung des geplanten Dachfonds geeinigt. Neben einem abermals neuen Namen gibt es weitere Änderungen zum Letztstand, neue Details und einen Zeitplan.
/artikel/austrian-venture-growth-fund-of-funds-regierung-einigt-sich-auf-konkrete-dachfonds-umsetzung
vor 15 Stunden

„Austrian Venture & Growth Fund of Funds“: Regierung einigt sich auf konkrete Dachfonds-Umsetzung

Wirtschafts- und Finanzministerium haben sich auf die konkrete Ausgestaltung des geplanten Dachfonds geeinigt. Neben einem abermals neuen Namen gibt es weitere Änderungen zum Letztstand, neue Details und einen Zeitplan.
/artikel/austrian-venture-growth-fund-of-funds-regierung-einigt-sich-auf-konkrete-dachfonds-umsetzung
Startup-Staatssekretärin Elisabeth Zehetner und Finanzminister Markus Marterbauer | (c) Christopher Dunker / BKA/Aigner
Startup-Staatssekretärin Elisabeth Zehetner und Finanzminister Markus Marterbauer | (c) Christopher Dunker / BKA/Aigner

Ankündigungen gab es dazu mittlerweile viele und auch Namen hat der bereits im Regierungsprogramm im Frühjahr 2025 verankerte Dachfonds inzwischen einige gehabt. Was bislang dem Vernehmen nach ausstand – öffentlich wurde das nicht kommuniziert – war eine Einigung zwischen Wirtschafts- und Finanzministerium zur konkreten Ausgestaltung. Diese wurde nun verkündet.

Nun dezidiert nicht nur Venture Capital sondern auch Private Equity

Für aufmerksame Beobachter:innen neu ist dabei nicht nur der Name: Mit „Austrian Venture & Growth Fund of Funds“ entschied man sich letztlich wohl bewusst für eine international verständliche Betitelung. Spannender noch sind einige Details, die in der aktuellen Aussendung der beiden Ministerien teils gleichsam nebenbei erwähnt werden. So soll der Fonds nun explizit nicht nur in Venture-Capital, sondern auch in Private-Equity-Fonds investieren. Vom anfänglich angedachten Fokus auf Later-Stage-Fonds war man bereits zuvor in der Kommunikation schrittweise abgegangen. Nun werden als Zielfonds dezidiert Fonds definiert, die in Startups, Scaleups und Spinoffs investieren.

100 Millionen Euro Ankerinvestment bekräftigt

Nicht neu ist die Ankündigung eines schrittweise eingebrachten staatlichen Ankerinvestments von 100 Millionen Euro und einem Zielvolumen von 500 Millionen Euro. Die Finanzierung erfolge „aus Rückflüssen bestehender Eigenkapitalinitiativen“ und führe zu keiner zusätzlichen Belastung des Bundesbudgets, heißt es in der Aussendung. Gemeint dürften hier weiterhin Rückflüsse aus der Austria Wirtschaftsservice (aws) sein, über die brutkasten bereits berichtete.

Ausschreibung des Fondsmanagements startet kommende Woche

Eben jene aws wird auch, wie ebenfalls bereits zuvor kommuniziert, mit der Verwaltung des Bundesanteils und der „Ausschreibung und Auswahl eines international erfahrenen Fondsmanagements“ betraut. „Die Auswahl erfolgt unter Einbindung eines Expert:innengremiums und soll sicherstellen, dass der Dachfonds professionell, unabhängig und nach wirtschaftlichen Kriterien geführt wird“, heißt es von den Ministerien. Starten soll die Ausschreibung kommende Woche. „Ziel ist es, das Fondsmanagement Anfang 2027 auszuwählen und anschließend die operative Tätigkeit aufzunehmen“, heißt es weiter.

aws soll auch Startups vermitteln

Die geplante Laufzeit des Dachfonds wurde mit rund 16 Jahren festgelegt. Er soll zudem international investieren können. Dass der angestrebte „starke Impuls für den heimischen Standort“ trotzdem realisiert wird, soll unter anderem die „Vermittlung von Investitionsmöglichkeiten“ an die Zielfonds durch die aws gewährleisten. „Die Wirkung auf den Standort wird anhand konkreter Indikatoren überprüft. Dazu zählen insbesondere das mobilisierte Kapital privater und institutioneller österreichischer Investoren, das tatsächlich in österreichische Unternehmen investierte Kapital sowie die Anzahl der durch die aws vermittelten Startups“, so die Ministerien.

„Zentraler Baustein der Industriestrategie“

Der Austrian Venture & Growth Fund of Funds sei ein „zentraler Baustein der Industriestrategie“, die auch eine Verdreifachung des Venture-Capital-Anteils am Bruttoinlandsprodukt bis 2035 vorsieht. Auf den in dieser definierten Schlüsseltechnologien soll zudem ein „besonderer Schwerpunkt der Investitionsstrategie“ liegen.

Zehetner: „Mit diesem Schritt schließt Österreich international auf“

„Länder wie Deutschland und Dänemark zeigen bereits, wie öffentliche Ankerinvestitionen privates Risikokapital mobilisieren und einen starken Venture-Capital-Markt entwickeln können. Mit diesem Schritt schließt Österreich international auf und stärkt langfristig seine Wettbewerbsfähigkeit, Wertschöpfung und Innovationskraft“, kommentiert Startup-Staatssekretärin Elisabeth Zehetner.

Marterbauer: „Perspektive, dass öffentliche Mittel langfristig auch wieder zurückfließen“

Und Finanzminister Markus Marterbauer meint, man investiere „mit der Perspektive, dass diese öffentlichen Mittel langfristig auch wieder zurückfließen“. „Gerade in Zeiten knapper Budgets müssen wir den gesamten Instrumentenkoffer der öffentlichen Finanzierung nutzen und über klassische Förderungen und Zuschüsse hinausdenken“, so der Minister, der ebenfalls auf „erfolgreiche europäische Vorzeigemodelle“ verweist.

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“