22.09.2023

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

An der Hochschule St. Gallen veranstaltete Thomas Burri einen Praxis-Stresstest für den AI Act. Warum die Ergebnisse Grund zur Sorge sind.
/artikel/praxis-stresstest-zeigt-der-ai-act-saet-unsicherheit
Thomas Burris Wettbewerb zeigte den Teilnehmer:innen, was der AI Act in der Praxis bedeutet. Foto: HSG/Grand Challenge
Thomas Burris Wettbewerb zeigte den Teilnehmer:innen, was der AI Act in der Praxis bedeutet. Foto: HSG/Grand Challenge

„Im Moment sind wir mit Künstlicher Intelligenz in Europa in einer extrem kritischen Phase. Es gibt viele Leute, die begeistert sind und versuchen, etwas zu machen. In den nächsten Jahren wird sich entscheiden, ob daraus eine Industrie wird oder nicht“, sagt Thomas Burri. Er ist Professor für Europa- und Völkerrecht an der Universität St. Gallen (HSG). Seit Jahren beschäftigt er sich mit neuen intelligenten Systemen – und auch mit Künstlicher Intelligenz.

Bootcamp mit Stresstest für AI Act

An der HSG veranstaltete er im Juli einen Wettbewerb, bei dem die Teilnehmenden in einer Art Bootcamp verschiedene KI-Anwendungen einem Praxis-Stresstest unterzogen. Die Siegerteams der First University of St. Gallen Grand Challenge: The EU A.I. Act 2023 erhielten insgesamt 100.000 Schweizer Franken für Forschungszwecke. Vorbild für den Wettbewerb waren die Grand Challenges der DARPA, am Schluss wurden zwei Sieger gekürt.

„Jedes Team hatte die Aufgabe, die KI-Verordnung (AI Act) zu nehmen und auf eine Reihe von sehr unterschiedlichen KI-Anwendungen anzuwenden“, erklärt Burri. Die KI-Systeme umfassten ein breites Spektrum – darunter waren z.B. Lieferroboter, Fahrzeuge, Bauttechnologie oder Medizintechnik. Sie wurden von Unternehmen beigesteuert, die laut dem AI Act als sogenannte AI-Providers gelten. Darunter die Deutsche Telekom, Mercedes-Benz, Ascento oder Deltia.ai.

Bereits im Vorfeld des Wettbewerbs mussten die Teams Methoden entwickeln, um die KI-Systeme zu bewerten. Bereits Monate vorher besuchten die Teilnehmer:innen AI-Providers und führten Interviews mit ihnen – zur Vorbereitung. Das zweitägige Bootcamp war dann der Höhepunkt der Challenge. Unter Zeitdruck hörten sich die Challenge-Teilnehmer:innen dann die Produktdemos der AI-Provider an und durften diesen Fragen zu ihrem Produkt stellen. Abschließend gaben sie ihre Berichte mit den Einschätzungen ab, die von einer Jury bewertet wurden.

Beispiel: Machen Baristas genug Kaffee?

Geheim bleibt allerdings, welche KI-Systeme die Teilnehmer:innen konkret zu beurteilen hatten. Dasselbe gilt für die Berichte, weil so die Geschäftsgeheimnisse der AI-Providers gewahrt werden sollen. Die Teilnehmer:innen mussten Verschwiegenheitserklärungen (NDAs) unterschreiben.

Im brutkasten-Interview erläutert Veranstalter Burri die Schwachstellen des Gesetzes stattdessen anhand eines anderen Beispiels. Eine ähnliche Frage hatte auch die Challenge-Teilnehmer:innen beschäftigt.

In den vergangenen Wochen kursierte ein Video. Es zeigt, wie mittels KI ausgewertet wird, wie viel Tassen Kaffee einzelne Baristas zubereiten. Das Beispiel sorgte für Gesprächsstoff, viele hielten diese KI-Anwendung für ethisch fragwürdig.

Wird die KI in diesem Fall dazu verwendet, die Performance von Angestellten zu messen? Oder geht es darum, gewisse Arbeitsprozesse zu verbessern? Bei der Antwort gebe erheblichen Interpretationsspielraum. „Wenn man sagt, dass es die Optimierung eines Arbeitsprozesses ist, gibt es gar keine Pflichten“, erklärt der Hochschulprofessor – und sei somit nach dem AI Act zulässig.

Gefährlich oder doch nicht?

Wegen solcher Fälle sieht Burri Verbesserungsbedarf beim EU-Gesetzesentwurf. Dessen Ausgestaltung sei im Anhang III (Hochrisiko-Systeme) zu detailliert und lasse im sogenannten Pflichtenheft dafür zu großen Interpretationsspielraum zu. Letzteres mache „fast keinen Sinn, weil die Pflichten so allgemein gehalten sind, dass sich die Provider heraus mogeln können“, sagt Burri.

Die Hälfte der Teams sagt: Nein, das ist nicht gefährlich. Die andere Hälfte sagt: Doch – super gefährlich!

Thomas Burri, Professor für Europa- und Völkerrecht, Universität St. Gallen (HSG)

Obwohl die elf Teams die gleichen KIs beurteilen mussten, seien sie zu sehr unterschiedlichen Einschätzungen gelangt: „Die Hälfte der Teams sagt: Nein, das ist nicht gefährlich. Die andere Hälfte sagt: Doch – super gefährlich“, erzählt Burri. Auch bei vielen Unternehmen könnte das EU-Gesetz deshalb zur Verunsicherung und Verwirrung führen, glaubt der HSG-Professor.

Praktische Umsetzung hapert

In einem Blog-Artikel erzählt die Challenge-Gewinnerin Emmie Hine, dass die Einhaltung des AI Acts zwar möglich, aber hürdenreich sei: „Eine der Hauptschwächen des Gesetzes ist, dass es keine Möglichkeit gibt, enthaltene Grundsätze, wie z. B. die Entscheidungsfreiheit, in die Praxis umzusetzen. Irgendwann soll ein offizieller Verhaltenskodex veröffentlicht werden. Aber Unternehmen müssen jetzt darüber nachdenken, wie sie KI für die Einhaltung von Vorschriften gestalten wollen“, schreibt Hine.

Der Praxis-Stresstest in St. Gallen zeigte Mängel der KI-Verordnung auf. „Mit dem AI Act sähen wir Unsicherheit bei genau den Leuten, auf die wir unsere Zukunft bauen wollen. Ich habe grundlegende Zweifel, ob das aus der Policy-Making-Perspektive so klug ist“, so Burri. Für die Veranstalter:innen ist ein Resümee aus der Grand Challenge, dass eine teilweise Überarbeitung des derzeitigen Entwurfes sinnvoll wäre: „Meine Vermutung ist, dass wir, vorsichtig ausgedrückt, übers Ziel hinaus oder am Ziel vorbeischießen“, sagt der Rechtsexperte.

Ob sich die jetzt kommenden zarten Pflänzchen zu etwas entwickeln, das wirkliche Power hat, entscheidet sich in den nächsten Jahren.

Thomas Burri, Professor für Europa- und Völkerrecht, Universität St. Gallen (HSG)

Gerade KI-Startups könnte der Act in seiner derzeitigen Form einbremsen. „Ob sich die jetzt kommenden zarten Pflänzchen zu etwas entwickeln, das wirkliche Power hat, entscheidet sich in den nächsten Jahren“, so Burri. „Wir sollten uns schon fragen: Was ist mit künstlicher Intelligenz bis jetzt für einen Schaden passiert?“ Denn die bisherigen Schadensfälle durch KI seien alle zumindest teilweise von bestehenden Regeln abgedeckt. „Oder sie haben nur beschränkt etwas mit künstlicher Intelligenz zu tun, sondern mit Excel-Files, die schlecht gehandhabt wurden“, meint Burri. Damit spielt er auf den Umstand an, dass die Gesetzgebung der technischen Entwicklung hinterherhinkt.

Für Burri stellt sich nach der Grand Challenge die Frage, ob die Verordnung wirklich hält, was sie verspricht. Oder werden damit eigentlich andere Ziele verfolgt? „Vielleicht wollen wir versuchen, unseren Markt abzuschirmen, damit wir eigene Unternehmen hochziehen können und das nicht einfach Big Tech alles erledigt. Aber dann ist aber die Zweck der Verordnung ein völlig anderer. Dann machen wir Protektionismus“, meint Burri.

Was Startups von St. Gallen lernen können

Pro Team gab es mindestens ein:e Jurist:in sowie Computerwissenschaftler:in. Mit dabei waren auch Personen, die in Startups tätig sind. „Startups haben tendenziell eine technische Perspektive. Sie überlegen sich nicht, was menschliche Aufsicht eigentlich bedeutet. Sie sagen: Wenn irgendwas nicht läuft, setze ich mich an den Computer und schaue den Code an“, meint der HSG-Professor. Der AI Act fordere allerdings detaillierte Risikoanalysen, die für Techniker:innen in der Form ungewohnt seien. Zu Vorbereitung auf die neue Regulierung könne es für Startups sinnvoll sein, das Frage-Antwort-Prinzip von der Grand Challenge zu übernehmen. Sie können sich Gedanken darüber machen, was der AI Act für ihre KI-Anwendung bedeutet.

Emmie Hine kritisiert in ihrem Blog-Beitrag auch, dass es zu wenig Informationen für KMUs und Startups gebe. „Nach meiner Erfahrung in Informatik und Software-Engineering konzentriert sich der Großteil der Ingenieurausbildung und -arbeit auf das, was man tun kann, und nicht darauf, was man tun sollte“, so die Teilnehmerin.

Wollen EU-Startups diskriminieren?

Für Startups, die mit KI arbeiten, wird das Vorhaben weitreichende Konsequenzen haben. „Ich sehe im Startup-Environment viel Gutes, da gibt es viele interessante neue Erkenntnisse. Die Leute, die sich da engagieren, die sind wohlwollend. Sie wollen nicht diskriminieren, sondern eine Anwendung machen, die etwa der Krebsforschung weiterhilft“, so Burri. „Wenn die nur Leuten mit weißer Hautfarbe hilft, dann ist das ein Problem. Aber dieses Problem wollen sie auch lösen“, glaubt der HSG-Professor.

Im Rahmen der Grand Challenge arbeiteten die Organisator:innen unter anderem mit der KI-Investment-Plattform Merantix aus Berlin zusammen. Nicht nur für die Teilnehmer:innen war der Stresstest eine wichtige Lernerfahrung. „Die AI-Provider waren fast durchwegs überrascht, welche Fragen aufkommen, über die sie noch nie nachgedacht haben“, erzählt Burri. Praxistests für neue Gesetze sind die Ausnahme, wenngleich sie sie aber erhebliche Auswirkungen auf Geschäftsmodelle haben.

„Die Teams haben ihre Fertigkeiten geschärft und gemerkt, ob das, was sie machen funktioniert. Außerdem haben sie Anwendungspraxis gesammelt und die Provider haben eine Art frühe und informelle Rechtseinschätzung gekriegt. Ohne dass sie zur Anwaltskanzlei rennen und 100.000 Euro deponieren mussten“, so Burri.

Deine ungelesenen Artikel:
17.11.2026

Roboter für alle: Wie NX-T Technology sie für KMU alltagstauglich machen will

Wenn es nach Gründer Andreas Gruber geht, dann soll der Einsatz von Robotern billiger werden bei gleichbleibender Sicherheit. Sein Unternehmen NX-T Technology, das einen agnostischen Lernansatz von Robotern verfolgt, präsentierte sich bei brutkasten MOMENTUM erstmals der Öffentlichkeit.
/artikel/roboter-fuer-alle-wie-nx-t-technology-sie-fuer-kmu-alltagstauglich-machen-will
17.11.2026

Roboter für alle: Wie NX-T Technology sie für KMU alltagstauglich machen will

Wenn es nach Gründer Andreas Gruber geht, dann soll der Einsatz von Robotern billiger werden bei gleichbleibender Sicherheit. Sein Unternehmen NX-T Technology, das einen agnostischen Lernansatz von Robotern verfolgt, präsentierte sich bei brutkasten MOMENTUM erstmals der Öffentlichkeit.
/artikel/roboter-fuer-alle-wie-nx-t-technology-sie-fuer-kmu-alltagstauglich-machen-will
(c) brutkasten / Tobias Gärnter
Co-Founder Andreas Gruber bei brutkasten MOMENTUM | (c) brutkasten / Tobias Gärnter

Wie sieht die Zukunft in Fabriken aus? Wirtschaftswissenschafter wie Warren G. Bennis prophezeien fundamentale Änderungen: Roboter, die durch Produktionshallen laufen, der Mensch ist nur mehr Statist. Auch in Österreich arbeitet man an Automatisierung und Verbesserung von Robotern. Brutkasten berichtete zuletzt von Cybershell, das eine Schutzschicht für humanoide Roboter entwickelt und NXAI, das an einem Gedächtnis für Roboter arbeitet. Jüngst hatte NX-T Technology seinen ersten öffentlichen Auftritt bei brutkasten MOMENTUM. Das oberösterreichische KI-Startup möchte Roboter im industriellen Mittelstand verbreiten. Gelingen soll das durch leichtere Trainierbarkeit.

„Robotic Physical AI wird ein großer Markt werden. Wir sehen riesiges Potenzial dahinter, fast so groß wie jenes der Internetökonomie. Wir sehen aber auch, dass die Ergebnisse aus den Forschungslabs und den Startups noch nicht hundertprozentig in der Wirtschaft ankommen“, sagt Co-Founder Andreas Gruber. Der CEO definiert in seiner Rede zwei Probleme:

Problem eins: Für Roboter „braucht es Expertenteams“

Wer einen Roboter in seiner Firma haben möchte, der benötigt Fachleute, die diesen Wandel vorantreiben. „Es braucht Expertenteams, um technischen Change schnell genug auf den Teppich zu kriegen. Diese Experten sind in der breiten Basis nicht da“, erklärt Gruber und ergänzt im brutkasten-Gespräch: “ Wir wollen daher, dass man mit einer Fachausbildung im Robotikbereich plus einem zweiwöchigen Kurs für die Bedienung des Systems mit Robotern arbeiten kann.“

Die Lösung sieht NX-T Technology in der Trainierbarkeit von Robotern: „Wir müssen mehr Intelligenz in die Maschine reinkriegen“, sagt Gruber. Eines der Schlüsselthemen sei mobile generative KI-Robotik. Also eine Technologie, die sich in Echtzeit selbstständig Lösungswege für Aufgaben ausdenkt, anstatt nur stur vorprogrammierte Befehle zu wiederholen.

Dabei verfolgt sein Unternehmen einen agnostischen Lernansatz. Die Roboter würden durch NX-T Technology lernen und so die Fehlerquote und den Anteil an benötigten Trainingsdaten senken. „Roboter in unserem Lab bringen sich selber Funktionen bei, lernen weiche, geometrisch Gegenstände in Kisten zu sortieren“, sagt Gruber. Durch einen „Continuous-Learning-Prozess“ würde auch die Performance im Betrieb steigen. Sein Unternehmen arbeitet nicht nur mit humanoiden, sondern mit jeglicher Art von Robotern.

Problem zwei: Die Investitionshürden seien für KMU zu groß

Es sei laut Gruber aus technischer Sicht schwierig, größere Spaces oder verschiedene Workstations zu automatisieren. „Aktueller Stand der Technik ist, dass wir Roboter hinter einer Lichtschranke oder irgendetwas Vergleichbarem stehen haben“, erklärt er. Oftmals seien auch Aufsichtspersonen für Roboter notwendig. NX-T Technology möchte die Anwendung von Robotern so weit verbessern, dass sie sich „von Platz zu Platz bewegen können, ohne Aufsichtspersonal oder große Umbauarbeiten zu benötigen.“

Zertifizierungen seien zudem teuer. „Eine Sicherheitszertifizierung vom TÜV kostet rund 50.000 Euro, damit die gelernten Prozesse statistisch bewertet und validiert werden und kein Sicherheitsrisiko besteht. Das ist einfach nicht rentabel“, sagt Gruber.

Eine Lösung sieht er in der „Dynamic Governance“. Sicherheitsfunktionen sollen sich „genauso dynamisch verändern wie die Funktion, die sich durch ‚Reinforcement Learning‘ weiterentwickelt“. Deshalb arbeitet NX-T Technology an einem dynamischen Safety-Layer. „Wir bauen das Harness und die symbolische Logik auf, um die Sicherheit zu gewährleisten“, sagt er. Den selbstlernenden Robotern werden somit klare Regeln und Grenzen gesetzt.

Gegründet wird nächste Woche

Das Unternehmen befindet sich aktuell noch in der Vorgründungsphase, nächste Woche stünde aber der notwendige Notartermin an. In den nächsten Monaten möchte NX-T Technology mit Testkunden zusammenarbeiten und sein System in der Praxis erproben. Firmen nennt das Startup auf brutkasten-Nachfrage nicht.

NX-T Technology ist gebootstrappt, wobei besonders viel Kapital von Co-Founder Philipp Kreisel in das Unternehmen fließe. Nach Fördermöglichkeiten werde aktuell gesucht.

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Praxis-Stresstest zeigt: „Der AI Act sät Unsicherheit“