23.12.2024
KÜNSTLICHE INTELLIGENZ

Neues OpenAI-Modell o3: „Befinden uns auf neuem Terrain“

OpenAI hat ein neues Sprachmodell vorgestellt, das die Diskussionen um Artificial General Intelligence (AGI) wieder anheizt. Was steckt dahinter?
/artikel/openai-modell-o3-artifical-general-intelligence
Logo von OpenAI
Foto: Adobe Stock

Wenn OpenAI neue Dinge ankündigt, hört die KI-Szene hin. Klar, nicht jede Ankündigung des US-Unternehmens in den vergangenen zwei Jahren hatte dieselbe Tragweite wie jene vom 30. November 2022, als OpenAI den Start eines Chatbots namens ChatGPT verlautbaren ließ. Aber potenziell könnte jede Mitteilung des Unternehmens rund um CEO Sam Altman bahnbrechend sein. Kein Wunder also, dass es für Aufsehen sorgte, als OpenAI Anfang Dezember verlautbarte, zwölf Tage hintereinander neue Dinge vorzustellen.

Schon in der Ankündigung hatte Altman darauf hingewiesen, dass es neben größeren auch kleinere Neuigkeiten sein würden, die OpenAI liefern würde. So kam es dann auch: Zugang zu ChatGPT über WhatsApp oder die Integration in Apple Intelligence waren eher in die zweite Kategorie einzuordnen. Daneben veröffentlichte OpenAI aber auch das neue Modell o1 für ChatGPT – oder Sora, ein Tool zur Videoerstellung.

Den größten Widerhall in der KI-Szene fand allerdings die Ankündigung am letzten der zwölf Tage. Am vergangenen Freitagabend stellte OpenAI sein neues Modell o3 vor. Wichtig dabei: Das Modell ist noch nicht öffentlich zugänglich. OpenAI stellte zunächst einmal nur vor, wie das Modell in unterschiedlichen KI-Benchmarks abschnitt. Aber diese Ergebnisse hatten es in sich.

o3 zeigt starke Performance bei AGI-Benchmark

Vielbeachtet wurde dabei vor allem die Benchmark namens ARC-AGI (Abstraction and Reasoning Corpus for Artificial General Intelligence), bei der zwei Varianten des o3-Modells deutlich bessere Ergebnisse erzielten als die bisher führenden o1-Modelle. Das Ziel von ARC-AGI ist es zu messen, wie sich eine KI im Umgang mit ihr unbekannten Aufgaben schlägt.

Wie die O3-Modelle verglichen mit anderen OpenAI-Modellen abschneiden // Grafik: ARC Prize

Es gibt unterschiedliche Definitionen von AGI. Die meisten davon verstehen AGI aber als ein System, das sämtliche intellektuellen Aufgaben mindestens so gut oder besser als ein Mensch erledigen kann.

Die ARC-AGI-Benchmark wurde von François Chollet konzipiert. Er definiert AGI als ein System, das „in der Lage ist, effizient neue Fähigkeiten zu erwerben und neuartige Probleme zu lösen, für die es trainiert wurde.“

Eine AGI ist also nicht für eine bestimmte Aufgabe trainiert, sondern kann jegliche Aufgaben übernehmen. Es ist weitgehender Konsens in der KI-Szene, dass solche Systeme noch nicht existieren. OpenAI wurde aber beispielsweise explizit mit dem Ziel gegründet, AGI zu erreichen.

Chollet gehört zu den bekanntesten Namen der internationalen KI-Szene. Er hat die bekannte KI-Library Keras entwickelt und seit einigen Jahren für Google tätig. Dem von ChatGPT ausgelösten Hype rund um generative KI steht Chollet seit Anfang an eher kritisch gegenüber, wie beispielsweise auch dieser brutkasten-Bericht wenige Wochen nach Erscheinen von ChatGPT thematisierte.

o3: „Wir befinden uns auf neuem Terrain“

Umso interessanter ist es, was Chollet nun zu den Ergebnissen des o3-Modells bzw. seiner Varianten zu sagen hat. In einem Blogeintrag attestiert er OpenAI, mit dem Modell einen „bedeutenden Sprung nach vorne“ erreicht zu haben.

Die Performance des Modells stelle „einen echten Durchbruch“ in der Anpassungsfähigkeit und Verallgemeinerung“ von KI-Modellen dar“, wenn es darum gehe, wie sich KI-Modelle an neue Aufgaben anpassen könnten. o3 stelle nicht bloß einen „schrittweisen Fortschritt“ dar. Vielmehr befinde man sich auf „neuem Terrain“, das „ernsthafte wissenschaftliche Aufmerksamkeit“ erfordere.

Aber es ist schon Artificial General Intelligence (AGI)? Hier schränkt Chollet ein: „o3 scheitert immer noch an einigen sehr einfachen Aufgaben, was auf grundlegende Unterschiede zur menschlichen Intelligenz hinweist“. Dennoch befeuerten die Ergebnisse die Diskussion rund um AGI – und manche Stimmen sahen, anderes als Chollet, mit o3 AGI sogar bereits erreicht.

Selbst wenn dem so wäre, wäre es zum jetzigen Zeitpunkt schwer nachzuprüfen: Denn das Modell ist noch nicht veröffentlicht. Forscher:innen im Bereich der KI-Sicherheit können sich für Zugang vormerken lassen. Wann und zu welchen Konditionen das Modell für Endnutzer:innen zugänglich sein wird, ist aktuell noch unklar. Klar ist allerdings schon jetzt, dass die beeindruckenden Ergebnisse bei der ARC-AGI-Benchmark enorme Rechenressourcen erforderten – und dementsprechend teuer waren.

Reasoning-Modelle

Das o3-Modell ist eine verbesserte Version des o1-Modells, welches OpenAI am 4. Dezember veröffentliche und das zuvor bereits in Preview- und Mini-Varianten für ChatGPT-User:innen zugänglich gewesen war. Dieses Modell unterscheidet sich zu dem im Mai 2024 veröffentlichten GPT4o-Modell insofern, als es auf einen „Reasoning“-Ansatz setzt.

OpenAI bezeichnet GPT4o weiterhin als das „vielseitige, hochintelligente Flagship-Modell“, das für die „meisten Aufgaben“ die richtige Wahl sei. Die o1-Modelle wiederum referenziert das Unternehmen als „Reasoning-Modelle, die sich bei komplexen, mehrstufigen Aufgaben auszeichnen“.

Enduser:innen von ChatGPT merken dies in der Nutzung vor allem insofern, als sich die o1-Modelle länger Zeit nehmen, Ergebnisse zu produzieren. Diese Modelle „verbringen mehr Zeit mit Nachdenken, bevor sie reagieren“, wie es OpenAI formuliert. In einigen (aber nicht notwendigerweise in allen) Bereichen liefern sie dann deutlich bessere Ergebnisse als die bisherigen Modelle.


Tipp der Redaktion: Die neue brutkasten-Serie „No Hype KI“

No Hype KI
Nach zwei Jahren ChatGPT liefern wir eine Bestandsaufnahme aus der österreichischen Wirtschaft – wo stehen wir wirklich?
Du willst bei "No Hype KI" am Laufenden bleiben?

Trag dich hier ein und du bekommst jede Folge direkt in die Inbox!

Deine ungelesenen Artikel:
27.01.2025

Open Source und KI: „Es geht nicht darum, zu den Guten zu gehören“

Nachlese. Die Nutzung von Open-Source-Modellen eröffnet Unternehmen auch im KI-Bereich weitreichende Möglichkeiten. Es gibt dabei aber auch einiges zu bedenken. Darüber und mehr diskutierten in Folge 5 von "No Hype KI" Stephan Kraft von Red Hat, Florian Böttcher von CANCOM Austria, Natalie Ségur-Cabanac von Women in AI und Patrick Ratheiser von Leftshift.One.
/artikel/no-hype-ki-folge-5
27.01.2025

Open Source und KI: „Es geht nicht darum, zu den Guten zu gehören“

Nachlese. Die Nutzung von Open-Source-Modellen eröffnet Unternehmen auch im KI-Bereich weitreichende Möglichkeiten. Es gibt dabei aber auch einiges zu bedenken. Darüber und mehr diskutierten in Folge 5 von "No Hype KI" Stephan Kraft von Red Hat, Florian Böttcher von CANCOM Austria, Natalie Ségur-Cabanac von Women in AI und Patrick Ratheiser von Leftshift.One.
/artikel/no-hype-ki-folge-5

„No Hype KI“ wird unterstützt von CANCOM AustriaIBMITSVMicrosoftNagarroRed Hat und Universität Graz.

Kollaborativ, transparent, frei zugänglich und nicht profit-orientiert – mit Open-Source-Software wird eine Reihe von Eigenschaften assoziiert. Und oftmals stehen bei der Nutzung ethische Überlegungen im Zentrum. Dabei gibt es auch ganz praktische Gründe, die für eine Verwendung durch Unternehmen sprechen – auch bei der Implementierung von KI-Anwendungen, ist Stephan Kraft, Community Advocate & Business Development OpenShift & Application Services bei Red Hat, überzeugt. In Folge fünf der Serie „No Hype KI“ diskutierte er dieses und weitere Themen mit Florian Böttcher, Solution Architect bei CANCOM Austria, Natalie Ségur-Cabanac, Policy Lead bei Women in AI und Patrick Ratheiser, Gründer & CEO von Leftshift.One.

„Thema ein Stück weit aus dieser emotionalen, moralisierenden Ecke herausholen“

„Ich will das Thema ein Stück weit aus dieser emotionalen, moralisierenden Ecke herausholen“, sagt Stephan Kraft. Für Red Hat als weltweit führenden Anbieter für Open-Source-Lösungen für Unternehmen gehen die Argumente für eine Nutzung nämlich weit darüber hinaus. „Es geht nicht darum, Open Source als Selbstzweck zu sehen, um zu den Guten zu gehören“, so der Experte. Tatsächlich sei die Verwendung von Open Source gerade bei der Etablierung von KI im Unternehmen für Startups und KMU eine wichtige Weichenstellung.

Offenheit, um Diskriminierung entgegenzuwirken

Auch Natalie Ségur-Cabanac sieht Open Source als „Key Technology“ im KI-Bereich. Für „Women in AI“ spiele die Offenheit eine zentrale Rolle: „Diese Offenheit braucht es, um Diskriminierung entgegenzuwirken.“ Open Source verbessere den Zugang für Frauen zur Technologie, die Abbildung von Frauen in den Daten und es vergrößere die Möglichkeiten in der Forschung. Man müsse aber auch aufpassen, ob Software wirklich so offen sei, wie behauptet, sagt sie bezogen auf die aktuellen Diskussionen rund um OpenAI, das sich – ursprünglich als offenes Projekt gestartet – zum profitorientierten Unternehmen entwickelte. Es brauche auch eine klare Definition, was „open“ sei.

Masse an Möglichkeiten

Leftshift.One-Gründer Patrick Ratheiser betont auch die schiere Masse an Möglichkeiten, die Open Source bietet. „2021 hatten wir weltweit Zugriff auf circa 5.000 Open-Source-Modelle. Jetzt sind es bereits mehr als eine Million.“ Die Nutzbarkeit sei also klar gegeben, zudem biete die Technologie eine gewisse Unabhängigkeit und werde über ihre Vielfalt zum Innovationstreiber.

Ist Open Source immer die beste Lösung?

Doch bedeutet das, dass Open Source immer die optimale Lösung ist? Ratheiser sieht das differenziert: „Es ist ganz wichtig zu erkennen, was der Kunde braucht und was in dem Fall gerade notwendig ist. Egal, ob es nun On-Premise, in der Cloud, Open Source oder Closed Source ist.“ Florian Böttcher von CANCOM Austria pflichtet hier bei: „Wir setzen genau so auf hybrid.“

Datenstruktur im Hintergrund ist entscheidend

Ein Thema, bei dem bei Open Source Vorsicht geboten ist, spricht Natalie Ségur-Cabanac an. Besonders wichtig sei es bei KI-Anwendungen, eine gute Datenstruktur im Hintergrund zu haben. „Die Verantwortung, dass ein Modell mit sauberen Daten trainiert worden ist, liegt bei den Anbietern. Bei Open Source verschwimmt das ein bisschen. Wer ist wofür zuständig? Das ist eine Herausforderung für die Compliance zu schauen, wo man selbst verantwortlich ist und wo man sich auf einen Anbieter verlassen kann.“

Compliance: Großes Thema – mehr Sichereheit mit professioneller Unterstützung

Stephan Kraft hakt hier ein. Genau aus solchen Gründen gebe es Unternehmen wie Red Hat, die mit ihrem Enterprise-Support für Open-Source-Lösungen die Qualitätssicherung auch im rechtlichen Bereich übernehmen. „Das ist ein ganz wichtiger Teil unseres Versprechens gegenüber Kunden“, so Kraft. Unbedacht im Unternehmen mit Open Source zu arbeiten, könne dagegen in „Compliance-Fallen“ führen, pflichtet er Ségur-Cabanac bei.

Das sieht auch Patrick Ratheiser als Thema bei Leftshift.One: „Unsere Lösung ist Closed Source, wir setzen aber im Hintergrund Open Source ein. Wichtig ist, dass wir dem Kunden Compliance garantieren können.“ Stephan Kraft empfiehlt Unternehmen bei der Open-Source-Nutzung: „Man kann nicht immer gleich die neueste ‚bleeding edge‘-Lösung nehmen sondern sollte etwas konservativer herangehen.“

Infrastruktur: Gut planen, was man wirklich braucht

Unabhängig davon, ob man nun Open Source oder Closed Source nutzt, braucht es für die Nutzung von KI die richtige Infrastruktur. „Es kommt natürlich auf den Use Case an, den ein Unternehmen umsetzen will. Da sind die Anforderungen an die Infrastruktur sehr unterschiedlich“, grenzt Florian Böttcher ein. CANCOM Austria unterstützt seine Kunden in genau der Frage. Anwendungen wie das Training von KI-Modellen würde aus gutem Grund kaum in Österreich umgesetzt. „KI ist sehr stromhungrig und entwickelt viel Hitze. Das ist schwierig für ein eigenes Data-Center im Unternehmen, gerade wenn man die Strompreise in Österreich ansieht“, so Böttcher.

„Rechenleistungs-Hunger“ von KI könnte sich in Zukunft verringern

Wichtig sei es letztlich, sich als Unternehmen sehr klar darüber zu sein, was man umsetzen wolle. „Danach, welche Software-Lösung man für seinen Use Case einsetzen muss, richtet sich auch die Infrastruktur“, so Böttcher. Er erwarte aber auch, dass die KI-Modelle im nächsten Entwicklungsschritt effizienter werden und der „Rechenleistungs-Hunger“ sich verringere.

Patrick Ratheiser ergänzt: „Es ist grundsätzlich eine Kostenfrage.“ Unternehmen müssten sich sehr gut überlegen, ob sie ein eigenes LLM (Large Language Model) betreiben und dieses sogar selbst trainieren wollen, oder lieber doch eine Usage-basierte Lösung wählen. Er sehe bei österreichischen Unternehmen – auch bei größeren – eine klare Tendenz zur zweiten Variante. „Es lässt sich deutlich schneller einrichten, ist kalkulierbarer und auch viel schneller skalierbar“, erklärt Ratheiser.

Etwa im Forschungsbereich sei es jedoch wichtig und notwendig, auch eigene LLMs und die damit verbundene Infrastruktur zu betreiben. Doch auch die Möglichkeit von hybriden Lösungen biete sich an. „Man kann mittlerweile auch Teile in der Cloud lassen und Teile On-Premise. Man kann etwa nur ein datenschutzsicheres LLM selbst betreiben“, erklärt der Experte, der auch bei der Wahl der genutzten Modelle einen hybriden Ansatz empfiehlt: „Man braucht nicht für alle Use Cases das neueste Modell. Manchmal braucht man überhaupt kein LLM.“

Datenschutz: Einige Herausforderungen bei LLMs

Stichwort: Datenschutz. Hier schafft die europäische Datenschutzgrundverordnung (DSGVO) im KI-Bereich besondere Herausforderungen, weiß Natalie Ségur-Cabanac, die vorab betont: „Ich persönlich halte die DSGVO für ein gutes Regulierungswerk, weil sie sehr viel Spielraum gibt. Ich sage immer: Datenschutz ist sehr komplex, aber nicht kompliziert.“ Konkret seien etwa der Grundsatz der Zweckbezogenheit, also dass man Daten nur für konkrete Zwecke einsetzen darf, und dass man sie minimierend einsetzen muss, relevant für den KI-Bereich. „Da haben wir schon einen Konflikt, weil man ja [bei LLMs] erst einmal schaut, was man aus möglichst vielen Daten machen kann“, so die Expertin.

Ist KI rechtlich innerhalb der EU sogar per se in einem Graubereich?

Auch Transparenzbestimmungen – sowohl in der DSGVO als auch im AI-Act der EU – seien zu beachten. „Wenn ich KI verwende, muss ich auch wissen, was drinnen ist“, fasst Ségur-Cabanac zusammen. Ist KI also rechtlich innerhalb der EU sogar per se in einem Graubereich? „Nein, das glaube ich nicht. Aber man muss seine Hausaufgaben schon gut machen“, sagt die Expertin. Wichtig sei daher auch die im Rahmen des EU-AI-Acts eingeforderte KI-Kompetenz in Unternehmen – im technischen und rechtlichen Bereich.

KI-Kompetenz als zentrales Thema

Patrick Ratheiser stimmt zu: „Neben der Technologie selber sind bei unseren Kunden die Mitarbeiter ein Riesen-Thema. Man muss sie nicht nur wegen dem AI-Act fit bekommen, sondern es geht darum, sie wirklich auf die Anwendungen einzuschulen.“ Wichtig seien dabei auch die Kolleg:innen, die sich bereits mit dem Thema auskennen – die „Pioniere“ im Unternehmen. „AI Literacy ist sicherlich das Thema 2025 und in nächster Zeit. So, wie wir gelernt haben, mit dem Smartphone umzugehen, werden wir es auch mit generativer KI lernen“, so Ratheiser.

„Einfach einmal ausprobieren“

Stephan Kraft ergänzt: Neben einer soliden Datenbasis und der notwendigen Kompetenz brauche es bei KI – gerade auch im Bereich Open Source – noch etwas: „Einfach einmal ausprobieren. Es braucht auch Trial and Error. Das ist vielleicht oft das Schwierigste für CFOs und Geschäftsführer.“ Dieses Ausprobieren sollte aber innerhalb eines festgelegten Rahmens passieren, damit die KI-Implementierung gelingt, meint Natalie Ségur-Cabanac: „Unternehmen brauchen eine KI-Strategie und müssen wissen, was sie mit der Technologie erreichen wollen.“ Auch sich mit den zuvor angesprochenen rechtlichen Anforderungen – Stichwort Compliance – zu beschäftigen, komme zeitlich erst nach der Festlegung der Strategie.


Die gesamte Folge ansehen:

Die Nachlesen der bisherigen Folgen:

Folge 1: “No Hype KI – wo stehen wir nach zwei Jahren ChatGPT?

Folge 2: “Was kann KI in Gesundheit, Bildung und im öffentlichen Sektor leisten?

Folge 3: “Der größte Feind ist Zettel und Bleistift”: Erfolgsfaktoren und Herausforderungen in der KI-Praxis”

Folge 4: KI-Geschäftsmodelle: “Wir nutzen nur einen Bruchteil dessen, was möglich ist”


Die Serie wird von brutkasten in redaktioneller Unabhängigkeit mit finanzieller Unterstützung unserer Partner:innen produziert.

No Hype KI
27.01.2025

Open Source und KI: „Es geht nicht darum, zu den Guten zu gehören“

Nachlese. Die Nutzung von Open-Source-Modellen eröffnet Unternehmen auch im KI-Bereich weitreichende Möglichkeiten. Es gibt dabei aber auch einiges zu bedenken. Darüber und mehr diskutierten in Folge 5 von "No Hype KI" Stephan Kraft von Red Hat, Florian Böttcher von CANCOM Austria, Natalie Ségur-Cabanac von Women in AI und Patrick Ratheiser von Leftshift.One.
27.01.2025

Open Source und KI: „Es geht nicht darum, zu den Guten zu gehören“

Nachlese. Die Nutzung von Open-Source-Modellen eröffnet Unternehmen auch im KI-Bereich weitreichende Möglichkeiten. Es gibt dabei aber auch einiges zu bedenken. Darüber und mehr diskutierten in Folge 5 von "No Hype KI" Stephan Kraft von Red Hat, Florian Böttcher von CANCOM Austria, Natalie Ségur-Cabanac von Women in AI und Patrick Ratheiser von Leftshift.One.

„No Hype KI“ wird unterstützt von CANCOM AustriaIBMITSVMicrosoftNagarroRed Hat und Universität Graz.

Kollaborativ, transparent, frei zugänglich und nicht profit-orientiert – mit Open-Source-Software wird eine Reihe von Eigenschaften assoziiert. Und oftmals stehen bei der Nutzung ethische Überlegungen im Zentrum. Dabei gibt es auch ganz praktische Gründe, die für eine Verwendung durch Unternehmen sprechen – auch bei der Implementierung von KI-Anwendungen, ist Stephan Kraft, Community Advocate & Business Development OpenShift & Application Services bei Red Hat, überzeugt. In Folge fünf der Serie „No Hype KI“ diskutierte er dieses und weitere Themen mit Florian Böttcher, Solution Architect bei CANCOM Austria, Natalie Ségur-Cabanac, Policy Lead bei Women in AI und Patrick Ratheiser, Gründer & CEO von Leftshift.One.

„Thema ein Stück weit aus dieser emotionalen, moralisierenden Ecke herausholen“

„Ich will das Thema ein Stück weit aus dieser emotionalen, moralisierenden Ecke herausholen“, sagt Stephan Kraft. Für Red Hat als weltweit führenden Anbieter für Open-Source-Lösungen für Unternehmen gehen die Argumente für eine Nutzung nämlich weit darüber hinaus. „Es geht nicht darum, Open Source als Selbstzweck zu sehen, um zu den Guten zu gehören“, so der Experte. Tatsächlich sei die Verwendung von Open Source gerade bei der Etablierung von KI im Unternehmen für Startups und KMU eine wichtige Weichenstellung.

Offenheit, um Diskriminierung entgegenzuwirken

Auch Natalie Ségur-Cabanac sieht Open Source als „Key Technology“ im KI-Bereich. Für „Women in AI“ spiele die Offenheit eine zentrale Rolle: „Diese Offenheit braucht es, um Diskriminierung entgegenzuwirken.“ Open Source verbessere den Zugang für Frauen zur Technologie, die Abbildung von Frauen in den Daten und es vergrößere die Möglichkeiten in der Forschung. Man müsse aber auch aufpassen, ob Software wirklich so offen sei, wie behauptet, sagt sie bezogen auf die aktuellen Diskussionen rund um OpenAI, das sich – ursprünglich als offenes Projekt gestartet – zum profitorientierten Unternehmen entwickelte. Es brauche auch eine klare Definition, was „open“ sei.

Masse an Möglichkeiten

Leftshift.One-Gründer Patrick Ratheiser betont auch die schiere Masse an Möglichkeiten, die Open Source bietet. „2021 hatten wir weltweit Zugriff auf circa 5.000 Open-Source-Modelle. Jetzt sind es bereits mehr als eine Million.“ Die Nutzbarkeit sei also klar gegeben, zudem biete die Technologie eine gewisse Unabhängigkeit und werde über ihre Vielfalt zum Innovationstreiber.

Ist Open Source immer die beste Lösung?

Doch bedeutet das, dass Open Source immer die optimale Lösung ist? Ratheiser sieht das differenziert: „Es ist ganz wichtig zu erkennen, was der Kunde braucht und was in dem Fall gerade notwendig ist. Egal, ob es nun On-Premise, in der Cloud, Open Source oder Closed Source ist.“ Florian Böttcher von CANCOM Austria pflichtet hier bei: „Wir setzen genau so auf hybrid.“

Datenstruktur im Hintergrund ist entscheidend

Ein Thema, bei dem bei Open Source Vorsicht geboten ist, spricht Natalie Ségur-Cabanac an. Besonders wichtig sei es bei KI-Anwendungen, eine gute Datenstruktur im Hintergrund zu haben. „Die Verantwortung, dass ein Modell mit sauberen Daten trainiert worden ist, liegt bei den Anbietern. Bei Open Source verschwimmt das ein bisschen. Wer ist wofür zuständig? Das ist eine Herausforderung für die Compliance zu schauen, wo man selbst verantwortlich ist und wo man sich auf einen Anbieter verlassen kann.“

Compliance: Großes Thema – mehr Sichereheit mit professioneller Unterstützung

Stephan Kraft hakt hier ein. Genau aus solchen Gründen gebe es Unternehmen wie Red Hat, die mit ihrem Enterprise-Support für Open-Source-Lösungen die Qualitätssicherung auch im rechtlichen Bereich übernehmen. „Das ist ein ganz wichtiger Teil unseres Versprechens gegenüber Kunden“, so Kraft. Unbedacht im Unternehmen mit Open Source zu arbeiten, könne dagegen in „Compliance-Fallen“ führen, pflichtet er Ségur-Cabanac bei.

Das sieht auch Patrick Ratheiser als Thema bei Leftshift.One: „Unsere Lösung ist Closed Source, wir setzen aber im Hintergrund Open Source ein. Wichtig ist, dass wir dem Kunden Compliance garantieren können.“ Stephan Kraft empfiehlt Unternehmen bei der Open-Source-Nutzung: „Man kann nicht immer gleich die neueste ‚bleeding edge‘-Lösung nehmen sondern sollte etwas konservativer herangehen.“

Infrastruktur: Gut planen, was man wirklich braucht

Unabhängig davon, ob man nun Open Source oder Closed Source nutzt, braucht es für die Nutzung von KI die richtige Infrastruktur. „Es kommt natürlich auf den Use Case an, den ein Unternehmen umsetzen will. Da sind die Anforderungen an die Infrastruktur sehr unterschiedlich“, grenzt Florian Böttcher ein. CANCOM Austria unterstützt seine Kunden in genau der Frage. Anwendungen wie das Training von KI-Modellen würde aus gutem Grund kaum in Österreich umgesetzt. „KI ist sehr stromhungrig und entwickelt viel Hitze. Das ist schwierig für ein eigenes Data-Center im Unternehmen, gerade wenn man die Strompreise in Österreich ansieht“, so Böttcher.

„Rechenleistungs-Hunger“ von KI könnte sich in Zukunft verringern

Wichtig sei es letztlich, sich als Unternehmen sehr klar darüber zu sein, was man umsetzen wolle. „Danach, welche Software-Lösung man für seinen Use Case einsetzen muss, richtet sich auch die Infrastruktur“, so Böttcher. Er erwarte aber auch, dass die KI-Modelle im nächsten Entwicklungsschritt effizienter werden und der „Rechenleistungs-Hunger“ sich verringere.

Patrick Ratheiser ergänzt: „Es ist grundsätzlich eine Kostenfrage.“ Unternehmen müssten sich sehr gut überlegen, ob sie ein eigenes LLM (Large Language Model) betreiben und dieses sogar selbst trainieren wollen, oder lieber doch eine Usage-basierte Lösung wählen. Er sehe bei österreichischen Unternehmen – auch bei größeren – eine klare Tendenz zur zweiten Variante. „Es lässt sich deutlich schneller einrichten, ist kalkulierbarer und auch viel schneller skalierbar“, erklärt Ratheiser.

Etwa im Forschungsbereich sei es jedoch wichtig und notwendig, auch eigene LLMs und die damit verbundene Infrastruktur zu betreiben. Doch auch die Möglichkeit von hybriden Lösungen biete sich an. „Man kann mittlerweile auch Teile in der Cloud lassen und Teile On-Premise. Man kann etwa nur ein datenschutzsicheres LLM selbst betreiben“, erklärt der Experte, der auch bei der Wahl der genutzten Modelle einen hybriden Ansatz empfiehlt: „Man braucht nicht für alle Use Cases das neueste Modell. Manchmal braucht man überhaupt kein LLM.“

Datenschutz: Einige Herausforderungen bei LLMs

Stichwort: Datenschutz. Hier schafft die europäische Datenschutzgrundverordnung (DSGVO) im KI-Bereich besondere Herausforderungen, weiß Natalie Ségur-Cabanac, die vorab betont: „Ich persönlich halte die DSGVO für ein gutes Regulierungswerk, weil sie sehr viel Spielraum gibt. Ich sage immer: Datenschutz ist sehr komplex, aber nicht kompliziert.“ Konkret seien etwa der Grundsatz der Zweckbezogenheit, also dass man Daten nur für konkrete Zwecke einsetzen darf, und dass man sie minimierend einsetzen muss, relevant für den KI-Bereich. „Da haben wir schon einen Konflikt, weil man ja [bei LLMs] erst einmal schaut, was man aus möglichst vielen Daten machen kann“, so die Expertin.

Ist KI rechtlich innerhalb der EU sogar per se in einem Graubereich?

Auch Transparenzbestimmungen – sowohl in der DSGVO als auch im AI-Act der EU – seien zu beachten. „Wenn ich KI verwende, muss ich auch wissen, was drinnen ist“, fasst Ségur-Cabanac zusammen. Ist KI also rechtlich innerhalb der EU sogar per se in einem Graubereich? „Nein, das glaube ich nicht. Aber man muss seine Hausaufgaben schon gut machen“, sagt die Expertin. Wichtig sei daher auch die im Rahmen des EU-AI-Acts eingeforderte KI-Kompetenz in Unternehmen – im technischen und rechtlichen Bereich.

KI-Kompetenz als zentrales Thema

Patrick Ratheiser stimmt zu: „Neben der Technologie selber sind bei unseren Kunden die Mitarbeiter ein Riesen-Thema. Man muss sie nicht nur wegen dem AI-Act fit bekommen, sondern es geht darum, sie wirklich auf die Anwendungen einzuschulen.“ Wichtig seien dabei auch die Kolleg:innen, die sich bereits mit dem Thema auskennen – die „Pioniere“ im Unternehmen. „AI Literacy ist sicherlich das Thema 2025 und in nächster Zeit. So, wie wir gelernt haben, mit dem Smartphone umzugehen, werden wir es auch mit generativer KI lernen“, so Ratheiser.

„Einfach einmal ausprobieren“

Stephan Kraft ergänzt: Neben einer soliden Datenbasis und der notwendigen Kompetenz brauche es bei KI – gerade auch im Bereich Open Source – noch etwas: „Einfach einmal ausprobieren. Es braucht auch Trial and Error. Das ist vielleicht oft das Schwierigste für CFOs und Geschäftsführer.“ Dieses Ausprobieren sollte aber innerhalb eines festgelegten Rahmens passieren, damit die KI-Implementierung gelingt, meint Natalie Ségur-Cabanac: „Unternehmen brauchen eine KI-Strategie und müssen wissen, was sie mit der Technologie erreichen wollen.“ Auch sich mit den zuvor angesprochenen rechtlichen Anforderungen – Stichwort Compliance – zu beschäftigen, komme zeitlich erst nach der Festlegung der Strategie.


Die gesamte Folge ansehen:

Die Nachlesen der bisherigen Folgen:

Folge 1: “No Hype KI – wo stehen wir nach zwei Jahren ChatGPT?

Folge 2: “Was kann KI in Gesundheit, Bildung und im öffentlichen Sektor leisten?

Folge 3: “Der größte Feind ist Zettel und Bleistift”: Erfolgsfaktoren und Herausforderungen in der KI-Praxis”

Folge 4: KI-Geschäftsmodelle: “Wir nutzen nur einen Bruchteil dessen, was möglich ist”


Die Serie wird von brutkasten in redaktioneller Unabhängigkeit mit finanzieller Unterstützung unserer Partner:innen produziert.

No Hype KI
Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag