22.09.2023

Praxis-Stresstest zeigt: “Der AI Act sät Unsicherheit”

An der Hochschule St. Gallen veranstaltete Thomas Burri einen Praxis-Stresstest für den AI Act. Warum die Ergebnisse Grund zur Sorge sind.
/artikel/praxis-stresstest-zeigt-der-ai-act-saet-unsicherheit
Thomas Burris Wettbewerb zeigte den Teilnehmer:innen, was der AI Act in der Praxis bedeutet. Foto: HSG/Grand Challenge
Thomas Burris Wettbewerb zeigte den Teilnehmer:innen, was der AI Act in der Praxis bedeutet. Foto: HSG/Grand Challenge

“Im Moment sind wir mit Künstlicher Intelligenz in Europa in einer extrem kritischen Phase. Es gibt viele Leute, die begeistert sind und versuchen, etwas zu machen. In den nächsten Jahren wird sich entscheiden, ob daraus eine Industrie wird oder nicht”, sagt Thomas Burri. Er ist Professor für Europa- und Völkerrecht an der Universität St. Gallen (HSG). Seit Jahren beschäftigt er sich mit neuen intelligenten Systemen – und auch mit Künstlicher Intelligenz.

Bootcamp mit Stresstest für AI Act

An der HSG veranstaltete er im Juli einen Wettbewerb, bei dem die Teilnehmenden in einer Art Bootcamp verschiedene KI-Anwendungen einem Praxis-Stresstest unterzogen. Die Siegerteams der First University of St. Gallen Grand Challenge: The EU A.I. Act 2023 erhielten insgesamt 100.000 Schweizer Franken für Forschungszwecke. Vorbild für den Wettbewerb waren die Grand Challenges der DARPA, am Schluss wurden zwei Sieger gekürt.

“Jedes Team hatte die Aufgabe, die KI-Verordnung (AI Act) zu nehmen und auf eine Reihe von sehr unterschiedlichen KI-Anwendungen anzuwenden”, erklärt Burri. Die KI-Systeme umfassten ein breites Spektrum – darunter waren z.B. Lieferroboter, Fahrzeuge, Bauttechnologie oder Medizintechnik. Sie wurden von Unternehmen beigesteuert, die laut dem AI Act als sogenannte AI-Providers gelten. Darunter die Deutsche Telekom, Mercedes-Benz, Ascento oder Deltia.ai.

Bereits im Vorfeld des Wettbewerbs mussten die Teams Methoden entwickeln, um die KI-Systeme zu bewerten. Bereits Monate vorher besuchten die Teilnehmer:innen AI-Providers und führten Interviews mit ihnen – zur Vorbereitung. Das zweitägige Bootcamp war dann der Höhepunkt der Challenge. Unter Zeitdruck hörten sich die Challenge-Teilnehmer:innen dann die Produktdemos der AI-Provider an und durften diesen Fragen zu ihrem Produkt stellen. Abschließend gaben sie ihre Berichte mit den Einschätzungen ab, die von einer Jury bewertet wurden.

Beispiel: Machen Baristas genug Kaffee?

Geheim bleibt allerdings, welche KI-Systeme die Teilnehmer:innen konkret zu beurteilen hatten. Dasselbe gilt für die Berichte, weil so die Geschäftsgeheimnisse der AI-Providers gewahrt werden sollen. Die Teilnehmer:innen mussten Verschwiegenheitserklärungen (NDAs) unterschreiben.

Im brutkasten-Interview erläutert Veranstalter Burri die Schwachstellen des Gesetzes stattdessen anhand eines anderen Beispiels. Eine ähnliche Frage hatte auch die Challenge-Teilnehmer:innen beschäftigt.

In den vergangenen Wochen kursierte ein Video. Es zeigt, wie mittels KI ausgewertet wird, wie viel Tassen Kaffee einzelne Baristas zubereiten. Das Beispiel sorgte für Gesprächsstoff, viele hielten diese KI-Anwendung für ethisch fragwürdig.

Wird die KI in diesem Fall dazu verwendet, die Performance von Angestellten zu messen? Oder geht es darum, gewisse Arbeitsprozesse zu verbessern? Bei der Antwort gebe erheblichen Interpretationsspielraum. “Wenn man sagt, dass es die Optimierung eines Arbeitsprozesses ist, gibt es gar keine Pflichten”, erklärt der Hochschulprofessor – und sei somit nach dem AI Act zulässig.

Gefährlich oder doch nicht?

Wegen solcher Fälle sieht Burri Verbesserungsbedarf beim EU-Gesetzesentwurf. Dessen Ausgestaltung sei im Anhang III (Hochrisiko-Systeme) zu detailliert und lasse im sogenannten Pflichtenheft dafür zu großen Interpretationsspielraum zu. Letzteres mache “fast keinen Sinn, weil die Pflichten so allgemein gehalten sind, dass sich die Provider heraus mogeln können”, sagt Burri.

Die Hälfte der Teams sagt: Nein, das ist nicht gefährlich. Die andere Hälfte sagt: Doch – super gefährlich!

Thomas Burri, Professor für Europa- und Völkerrecht, Universität St. Gallen (HSG)

Obwohl die elf Teams die gleichen KIs beurteilen mussten, seien sie zu sehr unterschiedlichen Einschätzungen gelangt: “Die Hälfte der Teams sagt: Nein, das ist nicht gefährlich. Die andere Hälfte sagt: Doch – super gefährlich”, erzählt Burri. Auch bei vielen Unternehmen könnte das EU-Gesetz deshalb zur Verunsicherung und Verwirrung führen, glaubt der HSG-Professor.

Praktische Umsetzung hapert

In einem Blog-Artikel erzählt die Challenge-Gewinnerin Emmie Hine, dass die Einhaltung des AI Acts zwar möglich, aber hürdenreich sei: “Eine der Hauptschwächen des Gesetzes ist, dass es keine Möglichkeit gibt, enthaltene Grundsätze, wie z. B. die Entscheidungsfreiheit, in die Praxis umzusetzen. Irgendwann soll ein offizieller Verhaltenskodex veröffentlicht werden. Aber Unternehmen müssen jetzt darüber nachdenken, wie sie KI für die Einhaltung von Vorschriften gestalten wollen”, schreibt Hine.

Der Praxis-Stresstest in St. Gallen zeigte Mängel der KI-Verordnung auf. “Mit dem AI Act sähen wir Unsicherheit bei genau den Leuten, auf die wir unsere Zukunft bauen wollen. Ich habe grundlegende Zweifel, ob das aus der Policy-Making-Perspektive so klug ist”, so Burri. Für die Veranstalter:innen ist ein Resümee aus der Grand Challenge, dass eine teilweise Überarbeitung des derzeitigen Entwurfes sinnvoll wäre: “Meine Vermutung ist, dass wir, vorsichtig ausgedrückt, übers Ziel hinaus oder am Ziel vorbeischießen”, sagt der Rechtsexperte.

Ob sich die jetzt kommenden zarten Pflänzchen zu etwas entwickeln, das wirkliche Power hat, entscheidet sich in den nächsten Jahren.

Thomas Burri, Professor für Europa- und Völkerrecht, Universität St. Gallen (HSG)

Gerade KI-Startups könnte der Act in seiner derzeitigen Form einbremsen. “Ob sich die jetzt kommenden zarten Pflänzchen zu etwas entwickeln, das wirkliche Power hat, entscheidet sich in den nächsten Jahren”, so Burri. “Wir sollten uns schon fragen: Was ist mit künstlicher Intelligenz bis jetzt für einen Schaden passiert?” Denn die bisherigen Schadensfälle durch KI seien alle zumindest teilweise von bestehenden Regeln abgedeckt. “Oder sie haben nur beschränkt etwas mit künstlicher Intelligenz zu tun, sondern mit Excel-Files, die schlecht gehandhabt wurden”, meint Burri. Damit spielt er auf den Umstand an, dass die Gesetzgebung der technischen Entwicklung hinterherhinkt.

Für Burri stellt sich nach der Grand Challenge die Frage, ob die Verordnung wirklich hält, was sie verspricht. Oder werden damit eigentlich andere Ziele verfolgt? “Vielleicht wollen wir versuchen, unseren Markt abzuschirmen, damit wir eigene Unternehmen hochziehen können und das nicht einfach Big Tech alles erledigt. Aber dann ist aber die Zweck der Verordnung ein völlig anderer. Dann machen wir Protektionismus”, meint Burri.

Was Startups von St. Gallen lernen können

Pro Team gab es mindestens ein:e Jurist:in sowie Computerwissenschaftler:in. Mit dabei waren auch Personen, die in Startups tätig sind. “Startups haben tendenziell eine technische Perspektive. Sie überlegen sich nicht, was menschliche Aufsicht eigentlich bedeutet. Sie sagen: Wenn irgendwas nicht läuft, setze ich mich an den Computer und schaue den Code an”, meint der HSG-Professor. Der AI Act fordere allerdings detaillierte Risikoanalysen, die für Techniker:innen in der Form ungewohnt seien. Zu Vorbereitung auf die neue Regulierung könne es für Startups sinnvoll sein, das Frage-Antwort-Prinzip von der Grand Challenge zu übernehmen. Sie können sich Gedanken darüber machen, was der AI Act für ihre KI-Anwendung bedeutet.

Emmie Hine kritisiert in ihrem Blog-Beitrag auch, dass es zu wenig Informationen für KMUs und Startups gebe. “Nach meiner Erfahrung in Informatik und Software-Engineering konzentriert sich der Großteil der Ingenieurausbildung und -arbeit auf das, was man tun kann, und nicht darauf, was man tun sollte”, so die Teilnehmerin.

Wollen EU-Startups diskriminieren?

Für Startups, die mit KI arbeiten, wird das Vorhaben weitreichende Konsequenzen haben. “Ich sehe im Startup-Environment viel Gutes, da gibt es viele interessante neue Erkenntnisse. Die Leute, die sich da engagieren, die sind wohlwollend. Sie wollen nicht diskriminieren, sondern eine Anwendung machen, die etwa der Krebsforschung weiterhilft”, so Burri. “Wenn die nur Leuten mit weißer Hautfarbe hilft, dann ist das ein Problem. Aber dieses Problem wollen sie auch lösen”, glaubt der HSG-Professor.

Im Rahmen der Grand Challenge arbeiteten die Organisator:innen unter anderem mit der KI-Investment-Plattform Merantix aus Berlin zusammen. Nicht nur für die Teilnehmer:innen war der Stresstest eine wichtige Lernerfahrung. “Die AI-Provider waren fast durchwegs überrascht, welche Fragen aufkommen, über die sie noch nie nachgedacht haben”, erzählt Burri. Praxistests für neue Gesetze sind die Ausnahme, wenngleich sie sie aber erhebliche Auswirkungen auf Geschäftsmodelle haben.

“Die Teams haben ihre Fertigkeiten geschärft und gemerkt, ob das, was sie machen funktioniert. Außerdem haben sie Anwendungspraxis gesammelt und die Provider haben eine Art frühe und informelle Rechtseinschätzung gekriegt. Ohne dass sie zur Anwaltskanzlei rennen und 100.000 Euro deponieren mussten”, so Burri.

Deine ungelesenen Artikel:
04.10.2024

Infineon Austria Challenge: Diese 13 Tech-Startups aus ganz Europa pitchten in Villach

Die Infineon Startup Challenge brachte 13 Tech-Startups aus neun europäischen Ländern nach Villach, die ihre KI-Anwendungen einer Fachjury präsentierten. Der Sieger kommt aus Slowenien.
/artikel/infineon-austria-challenge-2024
04.10.2024

Infineon Austria Challenge: Diese 13 Tech-Startups aus ganz Europa pitchten in Villach

Die Infineon Startup Challenge brachte 13 Tech-Startups aus neun europäischen Ländern nach Villach, die ihre KI-Anwendungen einer Fachjury präsentierten. Der Sieger kommt aus Slowenien.
/artikel/infineon-austria-challenge-2024
Gewinner-Startup Granevo und Fachjury beim Infineon Startup Challenge Demo Day | (c) Infineon Austria

Mit 45 Bewerbungen verzeichnete die Infineon Startup Challenge 2024 in diesem Jahr einen großen Zuwachs – sechsmal so viele wie im Vorjahr. Aus dieser Vielzahl qualifizierten sich 13 Tech-Startups aus ganz Europa, die in Villach ihre Lösungen rund um Künstliche Intelligenz, das Internet der Dinge und Sensortechnik präsentierten. Der Wettbewerb bot den Unternehmen die Möglichkeit, ihre Ideen nicht nur einer Fachjury vorzustellen, sondern auch potenzielle Partnerschaften mit Infineon zu knüpfen.

KI-Lösungen aus unterschiedlichen Bereichen

Konkrete Anwendungen waren zum Beispiel ein KI-gestütztes medizinisches Monitoringsystem, das die Vitalwerte von Patient:innen als auch deren Umgebungsbedingungen berücksichtigt. Weiters ein vernetztes, selbstlernendes Sensorsystem, das sich auf die Prävention von Naturgefahren wie Steinschläge und Überflutungen spezialisiert, um Umweltereignisse vorhersehbarer zu machen

Am Ende setzte sich das slowenische Startup Granevo durch. Das Startup entwickelt ein KI gesteuertes, automatisiertes Brutüberwachungssystem, das für optimales Überleben der Küken sorgen soll. Das Unternehmen wird auch an der Infineon Startup Night Konferenz am 22. Oktober am Infineon Konzernsitz in München teilnehmen.

“Um unser klares Ziel, die Dekarbonisierung und Digitalisierung mit Halbleiterlösungen voranzutreiben, braucht es innovative Ansätze. Unsere Erfahrungen aus den vergangenen Jahren haben gezeigt, dass sich durch die Zusammenarbeit mit Startups vielversprechende Möglichkeiten dafür eröffnen”, so Stefan Rohringer, Country Research & Development Officer (CRO) Infineon Austria.

Globales Co-Innovation Programm

Die Startup Challenge ist Teil des globalen Infineon Startup Co-Innovation Programms, für das sich Startups aus verschiedenen Bereichen wie Energieeffizienz, Mobilität, Sicherheit, IoT und Big Data bewerben können.

Andreas Mühlberger von Infineon und Srdja Ivekovic von VesnaCapital | (c) Infineon

Gemeinsam mit Infineon sollen so innovative Lösungen vorangetrieben werden. Dabei agiert Infineon nicht als Investor, sondern vielmehr als Co-Innovator, Technologie- und Business-Partner. “In der Zusammenarbeit mit innovativen Köpfen lernen wir neue Denkansätze und Anforderungen kennen, um Halbleitersysteme besser für neue Applikationen anzupassen und zu integrieren”, so Andreas Mühlberger, Strategic Partner Management Infineon.

Infineon Austria und VesnaCapital

Bei der Startup Challenge gab es auch die Möglichkeit, sich mit Investoren zu vernetzen. Zudem hat Infineon Austria mit VesnaCapital – einem Deep-Tech-Fund für Slowenien und Kroatien – kürzlich einen „Letter of Intent“ unterzeichnet. Dadurch will man gemeinsam Startups in den aufstrebenden Regionen Slowenien und Kroatien identifizieren und unterstützen. VesnaCapital fungiert dabei als Partner für Investments und Infineon als Technologie- und Business-Partner.


Überblick über die teilnehmenden Startups

  • Österreich: GMD, MuscleMAInd und e-nnovation better life solutions
  • Estland: e-Slasher, Nexiio und e-Litmus,
  • Deutschland: bitteiler
  • Kroatien: Calirad,
  • Großbritannien: Flappa,
  • Slowenien: Granevo,
  • Zypern: Intellectra Technologies,
  • Polen: Uhura Bionics,
  • Tschechien: Neuron Soundware

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

Praxis-Stresstest zeigt: “Der AI Act sät Unsicherheit”

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: “Der AI Act sät Unsicherheit”

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: “Der AI Act sät Unsicherheit”

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: “Der AI Act sät Unsicherheit”

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: “Der AI Act sät Unsicherheit”

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: “Der AI Act sät Unsicherheit”

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: “Der AI Act sät Unsicherheit”

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: “Der AI Act sät Unsicherheit”

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: “Der AI Act sät Unsicherheit”