22.09.2023

Praxis-Stresstest zeigt: “Der AI Act sät Unsicherheit”

An der Hochschule St. Gallen veranstaltete Thomas Burri einen Praxis-Stresstest für den AI Act. Warum die Ergebnisse Grund zur Sorge sind.
/artikel/praxis-stresstest-zeigt-der-ai-act-saet-unsicherheit
Thomas Burris Wettbewerb zeigte den Teilnehmer:innen, was der AI Act in der Praxis bedeutet. Foto: HSG/Grand Challenge
Thomas Burris Wettbewerb zeigte den Teilnehmer:innen, was der AI Act in der Praxis bedeutet. Foto: HSG/Grand Challenge

“Im Moment sind wir mit Künstlicher Intelligenz in Europa in einer extrem kritischen Phase. Es gibt viele Leute, die begeistert sind und versuchen, etwas zu machen. In den nächsten Jahren wird sich entscheiden, ob daraus eine Industrie wird oder nicht”, sagt Thomas Burri. Er ist Professor für Europa- und Völkerrecht an der Universität St. Gallen (HSG). Seit Jahren beschäftigt er sich mit neuen intelligenten Systemen – und auch mit Künstlicher Intelligenz.

Bootcamp mit Stresstest für AI Act

An der HSG veranstaltete er im Juli einen Wettbewerb, bei dem die Teilnehmenden in einer Art Bootcamp verschiedene KI-Anwendungen einem Praxis-Stresstest unterzogen. Die Siegerteams der First University of St. Gallen Grand Challenge: The EU A.I. Act 2023 erhielten insgesamt 100.000 Schweizer Franken für Forschungszwecke. Vorbild für den Wettbewerb waren die Grand Challenges der DARPA, am Schluss wurden zwei Sieger gekürt.

“Jedes Team hatte die Aufgabe, die KI-Verordnung (AI Act) zu nehmen und auf eine Reihe von sehr unterschiedlichen KI-Anwendungen anzuwenden”, erklärt Burri. Die KI-Systeme umfassten ein breites Spektrum – darunter waren z.B. Lieferroboter, Fahrzeuge, Bauttechnologie oder Medizintechnik. Sie wurden von Unternehmen beigesteuert, die laut dem AI Act als sogenannte AI-Providers gelten. Darunter die Deutsche Telekom, Mercedes-Benz, Ascento oder Deltia.ai.

Bereits im Vorfeld des Wettbewerbs mussten die Teams Methoden entwickeln, um die KI-Systeme zu bewerten. Bereits Monate vorher besuchten die Teilnehmer:innen AI-Providers und führten Interviews mit ihnen – zur Vorbereitung. Das zweitägige Bootcamp war dann der Höhepunkt der Challenge. Unter Zeitdruck hörten sich die Challenge-Teilnehmer:innen dann die Produktdemos der AI-Provider an und durften diesen Fragen zu ihrem Produkt stellen. Abschließend gaben sie ihre Berichte mit den Einschätzungen ab, die von einer Jury bewertet wurden.

Beispiel: Machen Baristas genug Kaffee?

Geheim bleibt allerdings, welche KI-Systeme die Teilnehmer:innen konkret zu beurteilen hatten. Dasselbe gilt für die Berichte, weil so die Geschäftsgeheimnisse der AI-Providers gewahrt werden sollen. Die Teilnehmer:innen mussten Verschwiegenheitserklärungen (NDAs) unterschreiben.

Im brutkasten-Interview erläutert Veranstalter Burri die Schwachstellen des Gesetzes stattdessen anhand eines anderen Beispiels. Eine ähnliche Frage hatte auch die Challenge-Teilnehmer:innen beschäftigt.

In den vergangenen Wochen kursierte ein Video. Es zeigt, wie mittels KI ausgewertet wird, wie viel Tassen Kaffee einzelne Baristas zubereiten. Das Beispiel sorgte für Gesprächsstoff, viele hielten diese KI-Anwendung für ethisch fragwürdig.

Wird die KI in diesem Fall dazu verwendet, die Performance von Angestellten zu messen? Oder geht es darum, gewisse Arbeitsprozesse zu verbessern? Bei der Antwort gebe erheblichen Interpretationsspielraum. “Wenn man sagt, dass es die Optimierung eines Arbeitsprozesses ist, gibt es gar keine Pflichten”, erklärt der Hochschulprofessor – und sei somit nach dem AI Act zulässig.

Gefährlich oder doch nicht?

Wegen solcher Fälle sieht Burri Verbesserungsbedarf beim EU-Gesetzesentwurf. Dessen Ausgestaltung sei im Anhang III (Hochrisiko-Systeme) zu detailliert und lasse im sogenannten Pflichtenheft dafür zu großen Interpretationsspielraum zu. Letzteres mache “fast keinen Sinn, weil die Pflichten so allgemein gehalten sind, dass sich die Provider heraus mogeln können”, sagt Burri.

Die Hälfte der Teams sagt: Nein, das ist nicht gefährlich. Die andere Hälfte sagt: Doch – super gefährlich!

Thomas Burri, Professor für Europa- und Völkerrecht, Universität St. Gallen (HSG)

Obwohl die elf Teams die gleichen KIs beurteilen mussten, seien sie zu sehr unterschiedlichen Einschätzungen gelangt: “Die Hälfte der Teams sagt: Nein, das ist nicht gefährlich. Die andere Hälfte sagt: Doch – super gefährlich”, erzählt Burri. Auch bei vielen Unternehmen könnte das EU-Gesetz deshalb zur Verunsicherung und Verwirrung führen, glaubt der HSG-Professor.

Praktische Umsetzung hapert

In einem Blog-Artikel erzählt die Challenge-Gewinnerin Emmie Hine, dass die Einhaltung des AI Acts zwar möglich, aber hürdenreich sei: “Eine der Hauptschwächen des Gesetzes ist, dass es keine Möglichkeit gibt, enthaltene Grundsätze, wie z. B. die Entscheidungsfreiheit, in die Praxis umzusetzen. Irgendwann soll ein offizieller Verhaltenskodex veröffentlicht werden. Aber Unternehmen müssen jetzt darüber nachdenken, wie sie KI für die Einhaltung von Vorschriften gestalten wollen”, schreibt Hine.

Der Praxis-Stresstest in St. Gallen zeigte Mängel der KI-Verordnung auf. “Mit dem AI Act sähen wir Unsicherheit bei genau den Leuten, auf die wir unsere Zukunft bauen wollen. Ich habe grundlegende Zweifel, ob das aus der Policy-Making-Perspektive so klug ist”, so Burri. Für die Veranstalter:innen ist ein Resümee aus der Grand Challenge, dass eine teilweise Überarbeitung des derzeitigen Entwurfes sinnvoll wäre: “Meine Vermutung ist, dass wir, vorsichtig ausgedrückt, übers Ziel hinaus oder am Ziel vorbeischießen”, sagt der Rechtsexperte.

Ob sich die jetzt kommenden zarten Pflänzchen zu etwas entwickeln, das wirkliche Power hat, entscheidet sich in den nächsten Jahren.

Thomas Burri, Professor für Europa- und Völkerrecht, Universität St. Gallen (HSG)

Gerade KI-Startups könnte der Act in seiner derzeitigen Form einbremsen. “Ob sich die jetzt kommenden zarten Pflänzchen zu etwas entwickeln, das wirkliche Power hat, entscheidet sich in den nächsten Jahren”, so Burri. “Wir sollten uns schon fragen: Was ist mit künstlicher Intelligenz bis jetzt für einen Schaden passiert?” Denn die bisherigen Schadensfälle durch KI seien alle zumindest teilweise von bestehenden Regeln abgedeckt. “Oder sie haben nur beschränkt etwas mit künstlicher Intelligenz zu tun, sondern mit Excel-Files, die schlecht gehandhabt wurden”, meint Burri. Damit spielt er auf den Umstand an, dass die Gesetzgebung der technischen Entwicklung hinterherhinkt.

Für Burri stellt sich nach der Grand Challenge die Frage, ob die Verordnung wirklich hält, was sie verspricht. Oder werden damit eigentlich andere Ziele verfolgt? “Vielleicht wollen wir versuchen, unseren Markt abzuschirmen, damit wir eigene Unternehmen hochziehen können und das nicht einfach Big Tech alles erledigt. Aber dann ist aber die Zweck der Verordnung ein völlig anderer. Dann machen wir Protektionismus”, meint Burri.

Was Startups von St. Gallen lernen können

Pro Team gab es mindestens ein:e Jurist:in sowie Computerwissenschaftler:in. Mit dabei waren auch Personen, die in Startups tätig sind. “Startups haben tendenziell eine technische Perspektive. Sie überlegen sich nicht, was menschliche Aufsicht eigentlich bedeutet. Sie sagen: Wenn irgendwas nicht läuft, setze ich mich an den Computer und schaue den Code an”, meint der HSG-Professor. Der AI Act fordere allerdings detaillierte Risikoanalysen, die für Techniker:innen in der Form ungewohnt seien. Zu Vorbereitung auf die neue Regulierung könne es für Startups sinnvoll sein, das Frage-Antwort-Prinzip von der Grand Challenge zu übernehmen. Sie können sich Gedanken darüber machen, was der AI Act für ihre KI-Anwendung bedeutet.

Emmie Hine kritisiert in ihrem Blog-Beitrag auch, dass es zu wenig Informationen für KMUs und Startups gebe. “Nach meiner Erfahrung in Informatik und Software-Engineering konzentriert sich der Großteil der Ingenieurausbildung und -arbeit auf das, was man tun kann, und nicht darauf, was man tun sollte”, so die Teilnehmerin.

Wollen EU-Startups diskriminieren?

Für Startups, die mit KI arbeiten, wird das Vorhaben weitreichende Konsequenzen haben. “Ich sehe im Startup-Environment viel Gutes, da gibt es viele interessante neue Erkenntnisse. Die Leute, die sich da engagieren, die sind wohlwollend. Sie wollen nicht diskriminieren, sondern eine Anwendung machen, die etwa der Krebsforschung weiterhilft”, so Burri. “Wenn die nur Leuten mit weißer Hautfarbe hilft, dann ist das ein Problem. Aber dieses Problem wollen sie auch lösen”, glaubt der HSG-Professor.

Im Rahmen der Grand Challenge arbeiteten die Organisator:innen unter anderem mit der KI-Investment-Plattform Merantix aus Berlin zusammen. Nicht nur für die Teilnehmer:innen war der Stresstest eine wichtige Lernerfahrung. “Die AI-Provider waren fast durchwegs überrascht, welche Fragen aufkommen, über die sie noch nie nachgedacht haben”, erzählt Burri. Praxistests für neue Gesetze sind die Ausnahme, wenngleich sie sie aber erhebliche Auswirkungen auf Geschäftsmodelle haben.

“Die Teams haben ihre Fertigkeiten geschärft und gemerkt, ob das, was sie machen funktioniert. Außerdem haben sie Anwendungspraxis gesammelt und die Provider haben eine Art frühe und informelle Rechtseinschätzung gekriegt. Ohne dass sie zur Anwaltskanzlei rennen und 100.000 Euro deponieren mussten”, so Burri.

Deine ungelesenen Artikel:
vor 15 Stunden

“Lösung wieder sehr österreichisch”: Stimmen aus der Startup-Szene zur FlexKap

Lange gefordert, nun knapp vor dem Beschluss: Die FlexKap ist in der Zielgeraden. Doch wurde das Erhoffte geliefert? Wir haben dazu Stimmen aus der Startup-Szene eingefangen.
/artikel/flexkap-stimmen-aus-der-startup-szene
vor 15 Stunden

“Lösung wieder sehr österreichisch”: Stimmen aus der Startup-Szene zur FlexKap

Lange gefordert, nun knapp vor dem Beschluss: Die FlexKap ist in der Zielgeraden. Doch wurde das Erhoffte geliefert? Wir haben dazu Stimmen aus der Startup-Szene eingefangen.
/artikel/flexkap-stimmen-aus-der-startup-szene
Stimmen aus der Startup-Szene zur FlexKap (vlonru.) Hannah Wundsam, Johannes Braith, Laura Raggl, Berthold Baurek-Karlic, Christiane Holzinger, Christof Strasser
Stimmen aus der Startup-Szene zur FlexKap (vlonru.) Hannah Wundsam, Johannes Braith, Laura Raggl, Berthold Baurek-Karlic, Christiane Holzinger, Christof Strasser

Erst Jahre lang Forderungen durch die Startup-Szene und andere Akteur:innen, dann ein jahrelanger Entwicklungsprozess, nun ist es soweit. Die neue Kapitalgesellschaftsform FlexKap – oft auch FlexCo genannt – steht vor dem Beschluss im Parlament. Dabei gibt es in der Fassung, die nun beschlossen werden soll, noch einige Änderungen im Vergleich zum Erstentwurf aus dem Mai, bei denen tendenziell Forderungen aus der Startup-Szene entgegengekommen wurde – brutkasten berichtete.

Dennoch konnten bei weitem nicht alle Forderungen durchgesetzt werden, mit denen die Startup-Szene ursprünglich in den Prozess eingestiegen ist. Vor allem bei der neuen Mitarbeiter:innenbeteiligung gibt es einige Punkte, die in der Szene nach wie vor skeptisch gesehen werden.

FlexKap: Kompromisse bei Mitarbeiter:innenbeteiligung

So wurden die geltenden Fristen im Vergleich zum Erstentwurf zwar verkürzt, aber nicht auf die von Startup-Vertreter:innen geforderten Zeiträume. Ursprünglich war vorgesehen, dass Mitarbeiter:innen für die neue Beteiligung zumindest drei Jahre im Unternehmen sein müssen, dann sollte eine verpflichtende Mindesthaltedauer von fünf Jahren gelten. Hier wurde auf zwei bzw. drei Jahre herabgesetzt. Verhandlungsbasis seitens der Startup-Community waren aber jeweils ein Jahr gewesen. Ebenfalls kritisiert wird die Beschränkung der Mitarbeiter:innenbeteiligung auf Unternehmen mit maximal 100 Mitarbeiter:innen und 40 Millionen Euro Jahresumsatz.

Was sagt die Startup-Szene also zum FlexKap-Gesetz, das nun beschlossen werden soll? Ist es der erhoffte große Wurf? Wird es zu mehr Startup-Gründungen führen? Wir haben uns bei eingen bekannten Vertreter:innen der Szene umgehört.


Hannah Wundsam, Co-Managing Director AustrianStartups

Es ist ein wichtiger Schritt, dass die FlexCo jetzt tatsächlich kommt. Einige Gründer:innen haben die Unternehmensgründung aufgeschoben, um von der neuen Rechtsform profitieren zu können. Besonders die Neugestaltung der Mitarbeiter:innenbeteiligung kann in diesen wirtschaftlich herausfordernden Zeiten ein wesentliches Anreizinstrument darstellen. Sie motiviert Talente, sich Startups anzuschließen und fördert deren langfristige Bindung.

Obwohl die FlexCo vielleicht nicht den umfassenden Durchbruch darstellt, den wir ursprünglich erhofft hatten, ist sie doch ein bedeutender erster Schritt.

Seitdem wir den Austrian Startup Monitor umsetzen, ist eine der Top 3 Forderungen österreichischer Startups, eine bessere Möglichkeit Mitarbeiter:innen am Unternehmenserfolg zu beteiligen. Die neue Regelung für Mitarbeiter:innenbeteiligungen ist ein großer Schritt in diese Richtung, da sowohl die Dry-Income-Problematik gelöst wird, als auch ein verbesserter pauschaler Steuersatz angewandt wird.

Obwohl die FlexCo vielleicht nicht den umfassenden Durchbruch darstellt, den wir ursprünglich erhofft hatten, ist sie doch ein bedeutender erster Schritt. Sie zeigt, dass Veränderungen im Gesellschaftsrecht möglich sind und die österreichische Wirtschaft positiv beeinflussen können.

Die Senkung des Mindeststammkapitals und die Erleichterung der Formvorschriften sind ein wichtiges Signal für angehende Gründer:innen. Auch wenn ich nicht erwarte, dass diese Änderung unmittelbar zu einem Anstieg von Neugründungen führen werden, bin ich überzeugt, dass die erleichterte Mitarbeiter:innenbeteiligung Unternehmertum weiter fördern wird. Wenn auch Mitarbeiter:innen von den Erfolgen eines Exits profitieren, werden wir mehr Gründungen von ehemaligen Startup-Mitarbeiter:innen sehen.

Johannes Braith, Co-Founder und CEO Storebox

Es ist grundsätzlich sehr gut, dass etwas gemacht wird. Dass die Unternehmensgründung vereinfacht, das Mindeststammkapital auf 10.000 Euro herabgesetzt wird und die Mitarbeiter:innenbeteiligung in dieser Form ermöglicht wird, ist positiv hervorzuheben. Dass die Mitarbeiter:innenbeteiligung auf Unternehmen mit höchstens 100 Mitarbeiter:innen und höchstens 40 Millionen Euro Jahresumsatz beschränkt ist, kann ich allerdings nicht nachvollziehen.

Grundsätzlich positiv, aber in Klein-klein-Österreich gefangen.

Insgesamt muss man auch sagen, dass die Lösung wieder sehr österreichisch ist. Eine neue Rechtsform wird auch nicht die Antwort auf alle großen Probleme sein, die wir haben. Und man hat auch wieder einmal gesehen, wie komplex so ein Vorgang hierzulande ist – Stichwort: Notariatskammer, die sich in einigen Punkten quergelegt hat, weil der verpflichtende Notariatsakt teilweise wegfällt. Mein Fazit: Grundsätzlich positiv, aber in Klein-klein-Österreich gefangen.

Laura Raggl, Gründerin ROI Ventures und Startup-Rat-Mitglied

Es ist eine große Erleichterung, dass es nun wieder in die richtige Richtung geht und der 1.1.2024 wieder realistisch ist – grundsätzlich eine sehr positive Entwicklung für die Startup Szene. Allerdings wurden auch einige Kompromisse geschlossen, wie bei den Haltefristen, Anzahl der Mitarbeiter:innen, etc. Nun wird es spannend, wie die FlexKap in der Praxis angenommen wird und wir werden uns weiterhin dafür einsetzen weitere Verbesserungen der neuen Rechtsform zu erreichen. Speziell die Thematik der Mitarbeiter:innenbeteiligung wurde bereits wesentlich verbessert und wird auch der primäre Treiber für FlexKap Gründungen sein.

Berthold Baurek-Karlic, Business Angel of the Year 2023

Ich persönlich freue mich darüber, dass alle Expert:innen in diesem langen Prozess durchgehalten haben und das Österreich einen vorsichtigen innovativen Schritt nach vorne wagt. Eine neue Rechtsform entsteht in Österreich nicht jeden Tag. Auf der anderen Seite stimmt es mich nachdenklich, dass wir einmal mehr Zeuge eines Balanceakts in Perfektion geworden sind bzw. werden. Ich vermisse in der Politik mutige Entscheidungen, schnellere Handlungen, ein besseres Verständnis für unsere internationale Wettbewerbsfähigkeit, und letztlich die Umsetzung vieler wichtiger Forderungen des Startup Ökosystems – die seit mehr als einem Jahrzehnt gefordert werden.

Ich hätte viele kleine Reformen der FlexKap vorgezogen

Bei allem Verständnis für die Interessensgruppen fürchte ich, dass wir uns solche Reform-Ballett-Vorstellungen nicht mehr leisten können! Ich hätte das Firmenbuchgericht abgeschafft, Notare mit echter Verantwortung zur Eintragung gestärkt, die GmbH und AG reformiert, und ein paar andere kleine Maßnahmen wie einen Investitionsfreibetrag und viele weitere kleine Reformen der FlexKap vorgezogen.

Christiane Holzinger, Business Angel of the Year 2023

Ich freue mich sehr, dass es die Politik doch noch geschafft hat sich zu einigen. Wir haben wirklich jahrelang gekämpft und es ist ein erster Schritt in die richtige Richtung. Für mich sind die Veränderungen in Ordnung, aber eben kein Meilenstein. Aus meiner Sicht wird es dadurch nicht zu mehr Gründungen von Kapitalgesellschaften kommen. Diejenigen, die gründen, haben aber finanzielle Erleichterungen und auch im Handling gibt es Verbesserungen.

Für mich sind die Veränderungen in Ordnung, aber eben kein Meilenstein.

Die Mitarbeiter:innenbeteiligung war mehr als notwendig. Diese Einführung begrüße ich sehr, da damit die Rahmenbedingungen für Mitarbeiterbindung wesentlich verbessert wurden. Damit wurde auch auf die Anliegen des Arbeitsmarktes reagiert, nicht nur in der Startup-Community, sondern gesamtwirtschaftlich gesehen. Jeder Schritt, der engagierte, leistungsbereite Mitarbeiter:innen steuerlich entlastet, ist ein Schritt für einen zukunftssicheren Arbeitsmarkt!

Christof Strasser, Startup-Anwalt

Gesetze gibt es seit 4.000 Jahren, das FlexKap-Gesetz ist eines davon.  Ob hierdurch Unternehmer glücklicher und erfolgreicher werden, hängt davon ab, was wir daraus machen.

Man wird sehen, was in den nächsten Wochen noch ergänzend auf den Markt kommt und dann geht’s schon los.

Sehen wir das Gesetz als Business Opportunity für Anwälte und eine Gelegenheit für Content-Marketing von Startup-Kanzleien? Oder schaffen wir es – wie das ja eh schon bisher möglich war – auch die neuen Regelungen ideenreich, ergebnisorientiert und hoffentlich mit erfrischender Legal Tech-Unterstützung auf den Boden zu bringen?

Ohne Frage enthält das Gesetz ein paar gut gemeinte Ideen, die mal mehr, mal weniger zu Ende gedacht wurden. Man wird sehen, was in den nächsten Wochen noch ergänzend auf den Markt kommt und dann geht’s schon los.

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

Praxis-Stresstest zeigt: “Der AI Act sät Unsicherheit”

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: “Der AI Act sät Unsicherheit”

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: “Der AI Act sät Unsicherheit”

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: “Der AI Act sät Unsicherheit”

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: “Der AI Act sät Unsicherheit”

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: “Der AI Act sät Unsicherheit”

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: “Der AI Act sät Unsicherheit”

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: “Der AI Act sät Unsicherheit”

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: “Der AI Act sät Unsicherheit”

Es gibt neue Nachrichten

Auch interessant