20.12.2023

KI-Experte Klambauer über Large Language Models: „Brauchen jetzt neue Ideen“

Interview. Steuern wir auf eine Artificial General Intelligence (AGI) zu - oder stoßen die aktuell populären Ansätze bei künstlicher Intelligenz (KI) bald an ihre Grenzen? KI-Forscher Günter Klambauer von der Johannes Kepler Universität Linz erläutert im brutkasten-Gespräch den aktuellen Stand - und wie es mit KI weitergehen könnte.
/artikel/klambauer-neue-ideen-sprachmodelle
KI-Professor Günter Klambauer
Günter Klambauer | Foto: Johannes Kepler Universität Linz

Günter Klambauer ist assozierter Professor für künstliche Intelligenz an der Johannes Kepler Universität Linz. Im brutkasten-Interview erläutert er, wie die Fortschritte bei großen Sprachmodellen (Large Language Models – LLMs) aus technischer Sicht zu bewerten sind und welche Zukunftszenarien für künstliche Intelligenz überhaupt realisitisch sind.


brutkasten: Beruhen die aktuellen Fortschritte bei Large Language Models (LLMs) auf besseren Algorithmen oder doch eher auf stärkerer Rechenpower und höherer Skalierung?

Günter Klambauer: 2019 hat man herausgefunden, dass man einfach durch das bloße Größermachen von Modellen deutliche Verbesserungen erzielen kann. Diese Modelle sind sogenannte künstliche neuronale Netze und bei deren Entwicklung kann man einfach entscheiden, wie groß die sind. Man kann die größer machen, indem man einfach eine Zahl im Programm ändert. 

Für manche in der Forschung war das ein bisschen enttäuschend, denn bis dahin ist man davon ausgegangen, dass man dafür neue Algorithmen brauchen würde. Tatsächlich hat sich aber eben herausgestellt, dass sich die Modelle durch das bloße Größermachen verbessern. 

Das führt aber dazu, dass man mehr Rechenpower benötigt. Für die IT-Giganten wie Google, Facebook, Amazon oder OpenAI war das super. Die verfügen über große Rechenzentren und konnten ihre Modelle einfach immer größer und größer machen. 

Allerdings beruhen nicht alle Fortschritte nur auf Skalierung. Es hat schon auch die sogenannte Transformer-Technologie benötigt. Sie hat dazu geführt, dass Sprachmodelle eben nicht nur übersetzen, sondern auch generieren – basierend auf Texten oder Vervollständigen. Das ist, was wir als Generative Pre-Trained Transformers, als GPTs, kennen.

Welche Rolle spielen die Datensätze dabei?

Das ist die zweite Achse, man füttert die Modelle mit mehr Daten. Früher waren die Datensätze vergleichsweise klein – mit ein paar Milliarden Wörtern aus Wikipedia. Mittlerweile muss man sich das so vorstellen, dass der gesamte textuelle Teil des Internet für das Training verwendet wird – viele Terabytes an Daten. Die Modelle verbessern sich also aus zwei Richtungen: Größere Datensätze sind die eine, und die Modelle vergrößern ist die andere. Beides hilft. 

Wie lange kann man diese Sprachmodelle durch Skalierung weiter verbessern? Erreichen wir Grenzen der Skalierung?

Das weiß man jetzt noch nicht, aber ich glaube schon, dass wir jetzt an dem Punkt sind, an dem Hochskalierung nicht mehr so viel bringt wie früher. Ab jetzt brauchen wir neue Ideen für Sprachmodelle – und neue Technologien. 

Allerdings kann man es oft auch nicht mit Sicherheit sagen: Wenn man nicht zu den IT-Giants gehört, kann man das schwer überprüfen, wo wir gerade stehen. Ein Sprachmodell wie GPT-4 von OpenAI trainiert auf zehntausenden Grafikkarten gleichzeitig. Da gibt es in ganz Europa kein Rechenzentrum, das das durchrechnen könnte. 

Als OpenAI Ende November 2022 den Chatbot ChatGPT veröffentlicht hat, hat dies in der Öffentlichkeit für großes Aufsehen gesorgt. Wie war die Reaktion in der Wissenschaft?

Das war auch für die Wissenschaft erstaunlich. Ich war damals gerade auf einer wissenschaftlichen Konferenz. Dort sind die Leute herumgelaufen und haben ChatGPT am Handy ausprobiert und waren verblüfft. Natürlich haben wir seit 2014 den Trend gesehen, dass Sprachmodelle immer besser und besser wurden. 

Aber erstaunlich war auch, wie leicht zugänglich künstliche Intelligenz dadurch wurde. OpenAI hat dafür gesorgt, dass die Sprachmodelle sehr gut mit Menschen interagieren können. In der Forschung nennt man das “Human Alignment”. Das war etwas Neues. 

Das war übrigens auch ein zusätzlicher Trainingsschritt. ChatGPT hat nicht nur aus bestehenden Texten die Abfolge der Wörter gelernt, sondern es hat auch auf das sogenannte Reinforcement Learning with Human Feedback gesetzt. Es gab bei ChatGPT eine Phase, in der menschliche KI-Trainer dem Modell Feedback gegeben haben.

Dafür gab es allerdings auch Kritik, weil diese Trainer in Kenia rekrutiert wurden und für zwei Dollar in der Stunde gearbeitet haben. Aus wissenschaftlicher Sicht war dies aber ein zusätzlicher Trainingsschritt, über den die Modelle lernen konnten, die menschliche Intention besser zu verstehen.

Kritik gibt es auch der KI-Forschung generell – in Hinblick darauf, dass die Entwicklung außer Kontrolle geraten könnte und Risiken schlagend werden könnten, die jetzt noch nicht absehbar sind. Anfang des Jahres gab es sogar einen Aufruf, die KI-Forschung für ein halbes Jahr auszusetzen. Wie beurteilen Sie dies?

Dieser Call für ein Moratorium ist genau von jenen gekommen, die eigentlich selbst am meisten an dem Thema geforscht haben. Die haben dann auch keine Pause gemacht, sondern weiter Sprachmodelle trainiert.

Das Moratorium wurde wegen angeblich existenziellen Risiken gefordert – einem “Terminator”-Szenario, in dem eine KI die Weltherrschaft übernimmt oder die Menschheit auslöscht. Aber das lenkt einerseits von tatsächlich existenziellen Problemen ab – wie dem Klimawandel oder Atombomben. Andererseits lenkt es auch von den wirklichen Problemen ab, die mit den KI-Systemen schon heute bestehen: Es kommt zu unterschiedlichen Verzerrungen – etwa kann es sein, dass Modelle Frauen schlechter behandeln oder Vorurteile gegenüber bestimmten Bevölkerungsgruppen übernehmen, weil diese in Texten im Internet, anhand derer sie trainiert wurden, enthalten waren. 

Für KI-Systeme legt man außerdem immer Ziele fest – beispielsweise, dass sie eine gute Wortabfolge geben. Wenn Sprachmodelle mit “I am as an AI Agent” antworten, verstärkt das unsere Tendenz zum Anthropomorphismus, also dass wir Dingen menschliche Eigenschaften zuschreiben.

Durch Filme wie “Terminator” kommt es zu dieser Idee, dass KI-Systeme eigene Ziele haben und den Menschen möglicherweise unterwerfen wollen – weil eben Menschen über anderen Menschen herrschen wollen. Ein KI-System will das aber gar nicht. “Intelligenz” an sich bedeutet überhaupt nicht, dass man über andere herrschen möchte – das ist auch wieder ein Anthropomorphismus. 

Für KI-Systeme geben wir die Ziele vor – eben für ein Sprachmodell, dass sie eine Wortfolge gut vorhersagt. Hier gibt es natürlich das Risiko des Missbrauchs – etwa dass so ein System eingesetzt wird, um Fake News zu erzeugen. Da ist ein tatsächliches Problem, da ist aber wieder der Mensch dahinter. Es ist nicht das Ziel des KI-Systems selbst, Fake News zu erzeugen.

Ist das Konzept einer Artificial General Intelligence (AGI) für Sie damit in den Bereich Science Fiction einzuordnen – oder ist eine solche doch ein Szenario, das in den nächsten Jahrzehnten eintreten könnte?

Ja, ich glaube, dass das ein Science-Fiction-Konzept ist, das sich wieder sehr an dem Konzept menschlicher Intelligenz anlehnt. Wenn KIs besser werden, bezieht sich das immer nur auf bestimmte Bereiche. In der Bilderkennung haben KIs menschliche Qualität schon erreicht. Teilweise ist es sogar so, dass es uns als Menschen bei Bildern, auf denen viele ähnliche Dinge sind, schwer gefällt, irgendwas zu erkennen. Für eine KI ist das dagegen einfach.

Es gibt Dinge, die für Menschen extrem einfach sind und für eine KI wahnsinnig schwer und das auch noch lange bleiben werden. Das betrifft zum Beispiel motorische  Fähigkeiten – sehen Sie sich einmal an, wenn ein Roboter etwas aufheben muss, das am Boden liegt. 

Dass sich eine KI immer weiterentwickelt und dann exakt die menschliche Intelligenz erreicht – das wird so nicht ablaufen. Es wird zuerst Zwischenstufen geben, aber nicht den einen Moment, an dem man sagt, jetzt ist eine AGI erreicht oder nicht. In manchen Bereichen, wie zum Beispiel Bilderkennung oder Schach oder Go spielen, ist KI sogar dem Menschen schon überlegen.

Ist es somit aus Ihrer Sicht illusorisch, wenn davon gesprochen wird, dass künstliche Intelligenz irgendwann ein Bewusstsein entwickeln könnte?

Wenn Sie am Computer zwei Matrizen multiplizieren, sagt niemand, dass ein Ergebnis ein leichtes Bewusstsein habe. Genau das ist, was jetzt passiert. In einem neuronalen Netz werden sehr viele Matrix-Multiplikationen vorgenommen. Aber dass das Modell deswegen ein Bewusstsein entwickeln soll, ist meiner Meinung nach ein starker Anthropomorphismus.

Wenn man mit ChatGPT interagiert, erhält man häufig Antworten, die mit der Phrase „As an AI Agent,…“ eingeleitet werden. Das personifiziert sehr stark und versucht uns bis zu einem gewissen Grad glauben zu machen, dass wir wirklich mit einer Person interagieren. Ich hätte es daher bevorzugt, wenn ChatGPT in solchen Fällen „The Large Language Model…“ antworten würde. 

Wenn die gängigen aktuellen KI-Modelle nur mehr von den Tech-Giganten betrieben werden können, weil nur diese die notwendige Rechenpower haben – bedeutet dies, dass künftig einige wenige Large Language Models den Markt dominieren werden und diese auf alle möglichen Use Cases angewendet werden? Oder ist zu erwarten, dass Unternehmen eigene LLMs für spezifische Fälle trainieren und sich ebenfalls damit etablieren können? 

Das ist eine wirklich entscheidende Frage, über die ich mir auch schon viele Gedanken gemacht habe. Ich denke, dass es darauf hinauslaufen wird, dass es kleine Anzahl von diesen Modellen geben wird. Die Entwicklung könnte hier ähnlich verlaufen wie bei Suchmaschinen. Auch hier gab es am Anfang viele und mittlerweile sind es nur mehr einige wenige. Ich würde schätzen, dass am Ende drei bis fünf LLMs übrig bleiben, die die Leute verwenden. 

Die Frage ist dann: Wer sind diese Anbieter? OpenAI ist definitiv dabei. Schön wäre aber, wenn man es in Europa schaffen würde, ein europäisches Sprachmodell zu bekommen, dass dann zu europäischer Infrastruktur wird, die von Unternehmen verwendet werden kann. Ein Startup könnte dann also sagen, ich nehme dieses europäische Sprachmodell und passe es für meinen Einsatzzweck an.

Müsste ein solches europäisches Modell öffentlich finanziert werden? 

Die Finanzierung könnte zum Beispiel zum Teil öffentlich geschehen und zum Teil über private Investoren, etwa in Form einer Public-Private-Partnership. Wichtig ist jedenfalls immer die Rechenkapazität, die man braucht, um ein großes Sprachmodell zu entwicklen. Zwar gibt es auch in Europa Rechenzentren mit ein paar tausend Grafikkarten, aber die sind aus kleineren Einheiten aufgebaut und erlauben es normalerweise nicht, ein großes Sprachmodell auf allen Grafikkarten gleichzeitig zu trainieren.

Deine ungelesenen Artikel:
27.01.2025

Open Source und KI: „Es geht nicht darum, zu den Guten zu gehören“

Nachlese. Die Nutzung von Open-Source-Modellen eröffnet Unternehmen auch im KI-Bereich weitreichende Möglichkeiten. Es gibt dabei aber auch einiges zu bedenken. Darüber und mehr diskutierten in Folge 5 von "No Hype KI" Stephan Kraft von Red Hat, Florian Böttcher von CANCOM Austria, Natalie Ségur-Cabanac von Women in AI und Patrick Ratheiser von Leftshift.One.
/artikel/no-hype-ki-folge-5
27.01.2025

Open Source und KI: „Es geht nicht darum, zu den Guten zu gehören“

Nachlese. Die Nutzung von Open-Source-Modellen eröffnet Unternehmen auch im KI-Bereich weitreichende Möglichkeiten. Es gibt dabei aber auch einiges zu bedenken. Darüber und mehr diskutierten in Folge 5 von "No Hype KI" Stephan Kraft von Red Hat, Florian Böttcher von CANCOM Austria, Natalie Ségur-Cabanac von Women in AI und Patrick Ratheiser von Leftshift.One.
/artikel/no-hype-ki-folge-5

„No Hype KI“ wird unterstützt von CANCOM AustriaIBMITSVMicrosoftNagarroRed Hat und Universität Graz.

Kollaborativ, transparent, frei zugänglich und nicht profit-orientiert – mit Open-Source-Software wird eine Reihe von Eigenschaften assoziiert. Und oftmals stehen bei der Nutzung ethische Überlegungen im Zentrum. Dabei gibt es auch ganz praktische Gründe, die für eine Verwendung durch Unternehmen sprechen – auch bei der Implementierung von KI-Anwendungen, ist Stephan Kraft, Community Advocate & Business Development OpenShift & Application Services bei Red Hat, überzeugt. In Folge fünf der Serie „No Hype KI“ diskutierte er dieses und weitere Themen mit Florian Böttcher, Solution Architect bei CANCOM Austria, Natalie Ségur-Cabanac, Policy Lead bei Women in AI und Patrick Ratheiser, Gründer & CEO von Leftshift.One.

„Thema ein Stück weit aus dieser emotionalen, moralisierenden Ecke herausholen“

„Ich will das Thema ein Stück weit aus dieser emotionalen, moralisierenden Ecke herausholen“, sagt Stephan Kraft. Für Red Hat als weltweit führenden Anbieter für Open-Source-Lösungen für Unternehmen gehen die Argumente für eine Nutzung nämlich weit darüber hinaus. „Es geht nicht darum, Open Source als Selbstzweck zu sehen, um zu den Guten zu gehören“, so der Experte. Tatsächlich sei die Verwendung von Open Source gerade bei der Etablierung von KI im Unternehmen für Startups und KMU eine wichtige Weichenstellung.

Offenheit, um Diskriminierung entgegenzuwirken

Auch Natalie Ségur-Cabanac sieht Open Source als „Key Technology“ im KI-Bereich. Für „Women in AI“ spiele die Offenheit eine zentrale Rolle: „Diese Offenheit braucht es, um Diskriminierung entgegenzuwirken.“ Open Source verbessere den Zugang für Frauen zur Technologie, die Abbildung von Frauen in den Daten und es vergrößere die Möglichkeiten in der Forschung. Man müsse aber auch aufpassen, ob Software wirklich so offen sei, wie behauptet, sagt sie bezogen auf die aktuellen Diskussionen rund um OpenAI, das sich – ursprünglich als offenes Projekt gestartet – zum profitorientierten Unternehmen entwickelte. Es brauche auch eine klare Definition, was „open“ sei.

Masse an Möglichkeiten

Leftshift.One-Gründer Patrick Ratheiser betont auch die schiere Masse an Möglichkeiten, die Open Source bietet. „2021 hatten wir weltweit Zugriff auf circa 5.000 Open-Source-Modelle. Jetzt sind es bereits mehr als eine Million.“ Die Nutzbarkeit sei also klar gegeben, zudem biete die Technologie eine gewisse Unabhängigkeit und werde über ihre Vielfalt zum Innovationstreiber.

Ist Open Source immer die beste Lösung?

Doch bedeutet das, dass Open Source immer die optimale Lösung ist? Ratheiser sieht das differenziert: „Es ist ganz wichtig zu erkennen, was der Kunde braucht und was in dem Fall gerade notwendig ist. Egal, ob es nun On-Premise, in der Cloud, Open Source oder Closed Source ist.“ Florian Böttcher von CANCOM Austria pflichtet hier bei: „Wir setzen genau so auf hybrid.“

Datenstruktur im Hintergrund ist entscheidend

Ein Thema, bei dem bei Open Source Vorsicht geboten ist, spricht Natalie Ségur-Cabanac an. Besonders wichtig sei es bei KI-Anwendungen, eine gute Datenstruktur im Hintergrund zu haben. „Die Verantwortung, dass ein Modell mit sauberen Daten trainiert worden ist, liegt bei den Anbietern. Bei Open Source verschwimmt das ein bisschen. Wer ist wofür zuständig? Das ist eine Herausforderung für die Compliance zu schauen, wo man selbst verantwortlich ist und wo man sich auf einen Anbieter verlassen kann.“

Compliance: Großes Thema – mehr Sichereheit mit professioneller Unterstützung

Stephan Kraft hakt hier ein. Genau aus solchen Gründen gebe es Unternehmen wie Red Hat, die mit ihrem Enterprise-Support für Open-Source-Lösungen die Qualitätssicherung auch im rechtlichen Bereich übernehmen. „Das ist ein ganz wichtiger Teil unseres Versprechens gegenüber Kunden“, so Kraft. Unbedacht im Unternehmen mit Open Source zu arbeiten, könne dagegen in „Compliance-Fallen“ führen, pflichtet er Ségur-Cabanac bei.

Das sieht auch Patrick Ratheiser als Thema bei Leftshift.One: „Unsere Lösung ist Closed Source, wir setzen aber im Hintergrund Open Source ein. Wichtig ist, dass wir dem Kunden Compliance garantieren können.“ Stephan Kraft empfiehlt Unternehmen bei der Open-Source-Nutzung: „Man kann nicht immer gleich die neueste ‚bleeding edge‘-Lösung nehmen sondern sollte etwas konservativer herangehen.“

Infrastruktur: Gut planen, was man wirklich braucht

Unabhängig davon, ob man nun Open Source oder Closed Source nutzt, braucht es für die Nutzung von KI die richtige Infrastruktur. „Es kommt natürlich auf den Use Case an, den ein Unternehmen umsetzen will. Da sind die Anforderungen an die Infrastruktur sehr unterschiedlich“, grenzt Florian Böttcher ein. CANCOM Austria unterstützt seine Kunden in genau der Frage. Anwendungen wie das Training von KI-Modellen würde aus gutem Grund kaum in Österreich umgesetzt. „KI ist sehr stromhungrig und entwickelt viel Hitze. Das ist schwierig für ein eigenes Data-Center im Unternehmen, gerade wenn man die Strompreise in Österreich ansieht“, so Böttcher.

„Rechenleistungs-Hunger“ von KI könnte sich in Zukunft verringern

Wichtig sei es letztlich, sich als Unternehmen sehr klar darüber zu sein, was man umsetzen wolle. „Danach, welche Software-Lösung man für seinen Use Case einsetzen muss, richtet sich auch die Infrastruktur“, so Böttcher. Er erwarte aber auch, dass die KI-Modelle im nächsten Entwicklungsschritt effizienter werden und der „Rechenleistungs-Hunger“ sich verringere.

Patrick Ratheiser ergänzt: „Es ist grundsätzlich eine Kostenfrage.“ Unternehmen müssten sich sehr gut überlegen, ob sie ein eigenes LLM (Large Language Model) betreiben und dieses sogar selbst trainieren wollen, oder lieber doch eine Usage-basierte Lösung wählen. Er sehe bei österreichischen Unternehmen – auch bei größeren – eine klare Tendenz zur zweiten Variante. „Es lässt sich deutlich schneller einrichten, ist kalkulierbarer und auch viel schneller skalierbar“, erklärt Ratheiser.

Etwa im Forschungsbereich sei es jedoch wichtig und notwendig, auch eigene LLMs und die damit verbundene Infrastruktur zu betreiben. Doch auch die Möglichkeit von hybriden Lösungen biete sich an. „Man kann mittlerweile auch Teile in der Cloud lassen und Teile On-Premise. Man kann etwa nur ein datenschutzsicheres LLM selbst betreiben“, erklärt der Experte, der auch bei der Wahl der genutzten Modelle einen hybriden Ansatz empfiehlt: „Man braucht nicht für alle Use Cases das neueste Modell. Manchmal braucht man überhaupt kein LLM.“

Datenschutz: Einige Herausforderungen bei LLMs

Stichwort: Datenschutz. Hier schafft die europäische Datenschutzgrundverordnung (DSGVO) im KI-Bereich besondere Herausforderungen, weiß Natalie Ségur-Cabanac, die vorab betont: „Ich persönlich halte die DSGVO für ein gutes Regulierungswerk, weil sie sehr viel Spielraum gibt. Ich sage immer: Datenschutz ist sehr komplex, aber nicht kompliziert.“ Konkret seien etwa der Grundsatz der Zweckbezogenheit, also dass man Daten nur für konkrete Zwecke einsetzen darf, und dass man sie minimierend einsetzen muss, relevant für den KI-Bereich. „Da haben wir schon einen Konflikt, weil man ja [bei LLMs] erst einmal schaut, was man aus möglichst vielen Daten machen kann“, so die Expertin.

Ist KI rechtlich innerhalb der EU sogar per se in einem Graubereich?

Auch Transparenzbestimmungen – sowohl in der DSGVO als auch im AI-Act der EU – seien zu beachten. „Wenn ich KI verwende, muss ich auch wissen, was drinnen ist“, fasst Ségur-Cabanac zusammen. Ist KI also rechtlich innerhalb der EU sogar per se in einem Graubereich? „Nein, das glaube ich nicht. Aber man muss seine Hausaufgaben schon gut machen“, sagt die Expertin. Wichtig sei daher auch die im Rahmen des EU-AI-Acts eingeforderte KI-Kompetenz in Unternehmen – im technischen und rechtlichen Bereich.

KI-Kompetenz als zentrales Thema

Patrick Ratheiser stimmt zu: „Neben der Technologie selber sind bei unseren Kunden die Mitarbeiter ein Riesen-Thema. Man muss sie nicht nur wegen dem AI-Act fit bekommen, sondern es geht darum, sie wirklich auf die Anwendungen einzuschulen.“ Wichtig seien dabei auch die Kolleg:innen, die sich bereits mit dem Thema auskennen – die „Pioniere“ im Unternehmen. „AI Literacy ist sicherlich das Thema 2025 und in nächster Zeit. So, wie wir gelernt haben, mit dem Smartphone umzugehen, werden wir es auch mit generativer KI lernen“, so Ratheiser.

„Einfach einmal ausprobieren“

Stephan Kraft ergänzt: Neben einer soliden Datenbasis und der notwendigen Kompetenz brauche es bei KI – gerade auch im Bereich Open Source – noch etwas: „Einfach einmal ausprobieren. Es braucht auch Trial and Error. Das ist vielleicht oft das Schwierigste für CFOs und Geschäftsführer.“ Dieses Ausprobieren sollte aber innerhalb eines festgelegten Rahmens passieren, damit die KI-Implementierung gelingt, meint Natalie Ségur-Cabanac: „Unternehmen brauchen eine KI-Strategie und müssen wissen, was sie mit der Technologie erreichen wollen.“ Auch sich mit den zuvor angesprochenen rechtlichen Anforderungen – Stichwort Compliance – zu beschäftigen, komme zeitlich erst nach der Festlegung der Strategie.


Die gesamte Folge ansehen:

Die Nachlesen der bisherigen Folgen:

Folge 1: “No Hype KI – wo stehen wir nach zwei Jahren ChatGPT?

Folge 2: “Was kann KI in Gesundheit, Bildung und im öffentlichen Sektor leisten?

Folge 3: “Der größte Feind ist Zettel und Bleistift”: Erfolgsfaktoren und Herausforderungen in der KI-Praxis”

Folge 4: KI-Geschäftsmodelle: “Wir nutzen nur einen Bruchteil dessen, was möglich ist”


Die Serie wird von brutkasten in redaktioneller Unabhängigkeit mit finanzieller Unterstützung unserer Partner:innen produziert.

No Hype KI
27.01.2025

Open Source und KI: „Es geht nicht darum, zu den Guten zu gehören“

Nachlese. Die Nutzung von Open-Source-Modellen eröffnet Unternehmen auch im KI-Bereich weitreichende Möglichkeiten. Es gibt dabei aber auch einiges zu bedenken. Darüber und mehr diskutierten in Folge 5 von "No Hype KI" Stephan Kraft von Red Hat, Florian Böttcher von CANCOM Austria, Natalie Ségur-Cabanac von Women in AI und Patrick Ratheiser von Leftshift.One.
27.01.2025

Open Source und KI: „Es geht nicht darum, zu den Guten zu gehören“

Nachlese. Die Nutzung von Open-Source-Modellen eröffnet Unternehmen auch im KI-Bereich weitreichende Möglichkeiten. Es gibt dabei aber auch einiges zu bedenken. Darüber und mehr diskutierten in Folge 5 von "No Hype KI" Stephan Kraft von Red Hat, Florian Böttcher von CANCOM Austria, Natalie Ségur-Cabanac von Women in AI und Patrick Ratheiser von Leftshift.One.

„No Hype KI“ wird unterstützt von CANCOM AustriaIBMITSVMicrosoftNagarroRed Hat und Universität Graz.

Kollaborativ, transparent, frei zugänglich und nicht profit-orientiert – mit Open-Source-Software wird eine Reihe von Eigenschaften assoziiert. Und oftmals stehen bei der Nutzung ethische Überlegungen im Zentrum. Dabei gibt es auch ganz praktische Gründe, die für eine Verwendung durch Unternehmen sprechen – auch bei der Implementierung von KI-Anwendungen, ist Stephan Kraft, Community Advocate & Business Development OpenShift & Application Services bei Red Hat, überzeugt. In Folge fünf der Serie „No Hype KI“ diskutierte er dieses und weitere Themen mit Florian Böttcher, Solution Architect bei CANCOM Austria, Natalie Ségur-Cabanac, Policy Lead bei Women in AI und Patrick Ratheiser, Gründer & CEO von Leftshift.One.

„Thema ein Stück weit aus dieser emotionalen, moralisierenden Ecke herausholen“

„Ich will das Thema ein Stück weit aus dieser emotionalen, moralisierenden Ecke herausholen“, sagt Stephan Kraft. Für Red Hat als weltweit führenden Anbieter für Open-Source-Lösungen für Unternehmen gehen die Argumente für eine Nutzung nämlich weit darüber hinaus. „Es geht nicht darum, Open Source als Selbstzweck zu sehen, um zu den Guten zu gehören“, so der Experte. Tatsächlich sei die Verwendung von Open Source gerade bei der Etablierung von KI im Unternehmen für Startups und KMU eine wichtige Weichenstellung.

Offenheit, um Diskriminierung entgegenzuwirken

Auch Natalie Ségur-Cabanac sieht Open Source als „Key Technology“ im KI-Bereich. Für „Women in AI“ spiele die Offenheit eine zentrale Rolle: „Diese Offenheit braucht es, um Diskriminierung entgegenzuwirken.“ Open Source verbessere den Zugang für Frauen zur Technologie, die Abbildung von Frauen in den Daten und es vergrößere die Möglichkeiten in der Forschung. Man müsse aber auch aufpassen, ob Software wirklich so offen sei, wie behauptet, sagt sie bezogen auf die aktuellen Diskussionen rund um OpenAI, das sich – ursprünglich als offenes Projekt gestartet – zum profitorientierten Unternehmen entwickelte. Es brauche auch eine klare Definition, was „open“ sei.

Masse an Möglichkeiten

Leftshift.One-Gründer Patrick Ratheiser betont auch die schiere Masse an Möglichkeiten, die Open Source bietet. „2021 hatten wir weltweit Zugriff auf circa 5.000 Open-Source-Modelle. Jetzt sind es bereits mehr als eine Million.“ Die Nutzbarkeit sei also klar gegeben, zudem biete die Technologie eine gewisse Unabhängigkeit und werde über ihre Vielfalt zum Innovationstreiber.

Ist Open Source immer die beste Lösung?

Doch bedeutet das, dass Open Source immer die optimale Lösung ist? Ratheiser sieht das differenziert: „Es ist ganz wichtig zu erkennen, was der Kunde braucht und was in dem Fall gerade notwendig ist. Egal, ob es nun On-Premise, in der Cloud, Open Source oder Closed Source ist.“ Florian Böttcher von CANCOM Austria pflichtet hier bei: „Wir setzen genau so auf hybrid.“

Datenstruktur im Hintergrund ist entscheidend

Ein Thema, bei dem bei Open Source Vorsicht geboten ist, spricht Natalie Ségur-Cabanac an. Besonders wichtig sei es bei KI-Anwendungen, eine gute Datenstruktur im Hintergrund zu haben. „Die Verantwortung, dass ein Modell mit sauberen Daten trainiert worden ist, liegt bei den Anbietern. Bei Open Source verschwimmt das ein bisschen. Wer ist wofür zuständig? Das ist eine Herausforderung für die Compliance zu schauen, wo man selbst verantwortlich ist und wo man sich auf einen Anbieter verlassen kann.“

Compliance: Großes Thema – mehr Sichereheit mit professioneller Unterstützung

Stephan Kraft hakt hier ein. Genau aus solchen Gründen gebe es Unternehmen wie Red Hat, die mit ihrem Enterprise-Support für Open-Source-Lösungen die Qualitätssicherung auch im rechtlichen Bereich übernehmen. „Das ist ein ganz wichtiger Teil unseres Versprechens gegenüber Kunden“, so Kraft. Unbedacht im Unternehmen mit Open Source zu arbeiten, könne dagegen in „Compliance-Fallen“ führen, pflichtet er Ségur-Cabanac bei.

Das sieht auch Patrick Ratheiser als Thema bei Leftshift.One: „Unsere Lösung ist Closed Source, wir setzen aber im Hintergrund Open Source ein. Wichtig ist, dass wir dem Kunden Compliance garantieren können.“ Stephan Kraft empfiehlt Unternehmen bei der Open-Source-Nutzung: „Man kann nicht immer gleich die neueste ‚bleeding edge‘-Lösung nehmen sondern sollte etwas konservativer herangehen.“

Infrastruktur: Gut planen, was man wirklich braucht

Unabhängig davon, ob man nun Open Source oder Closed Source nutzt, braucht es für die Nutzung von KI die richtige Infrastruktur. „Es kommt natürlich auf den Use Case an, den ein Unternehmen umsetzen will. Da sind die Anforderungen an die Infrastruktur sehr unterschiedlich“, grenzt Florian Böttcher ein. CANCOM Austria unterstützt seine Kunden in genau der Frage. Anwendungen wie das Training von KI-Modellen würde aus gutem Grund kaum in Österreich umgesetzt. „KI ist sehr stromhungrig und entwickelt viel Hitze. Das ist schwierig für ein eigenes Data-Center im Unternehmen, gerade wenn man die Strompreise in Österreich ansieht“, so Böttcher.

„Rechenleistungs-Hunger“ von KI könnte sich in Zukunft verringern

Wichtig sei es letztlich, sich als Unternehmen sehr klar darüber zu sein, was man umsetzen wolle. „Danach, welche Software-Lösung man für seinen Use Case einsetzen muss, richtet sich auch die Infrastruktur“, so Böttcher. Er erwarte aber auch, dass die KI-Modelle im nächsten Entwicklungsschritt effizienter werden und der „Rechenleistungs-Hunger“ sich verringere.

Patrick Ratheiser ergänzt: „Es ist grundsätzlich eine Kostenfrage.“ Unternehmen müssten sich sehr gut überlegen, ob sie ein eigenes LLM (Large Language Model) betreiben und dieses sogar selbst trainieren wollen, oder lieber doch eine Usage-basierte Lösung wählen. Er sehe bei österreichischen Unternehmen – auch bei größeren – eine klare Tendenz zur zweiten Variante. „Es lässt sich deutlich schneller einrichten, ist kalkulierbarer und auch viel schneller skalierbar“, erklärt Ratheiser.

Etwa im Forschungsbereich sei es jedoch wichtig und notwendig, auch eigene LLMs und die damit verbundene Infrastruktur zu betreiben. Doch auch die Möglichkeit von hybriden Lösungen biete sich an. „Man kann mittlerweile auch Teile in der Cloud lassen und Teile On-Premise. Man kann etwa nur ein datenschutzsicheres LLM selbst betreiben“, erklärt der Experte, der auch bei der Wahl der genutzten Modelle einen hybriden Ansatz empfiehlt: „Man braucht nicht für alle Use Cases das neueste Modell. Manchmal braucht man überhaupt kein LLM.“

Datenschutz: Einige Herausforderungen bei LLMs

Stichwort: Datenschutz. Hier schafft die europäische Datenschutzgrundverordnung (DSGVO) im KI-Bereich besondere Herausforderungen, weiß Natalie Ségur-Cabanac, die vorab betont: „Ich persönlich halte die DSGVO für ein gutes Regulierungswerk, weil sie sehr viel Spielraum gibt. Ich sage immer: Datenschutz ist sehr komplex, aber nicht kompliziert.“ Konkret seien etwa der Grundsatz der Zweckbezogenheit, also dass man Daten nur für konkrete Zwecke einsetzen darf, und dass man sie minimierend einsetzen muss, relevant für den KI-Bereich. „Da haben wir schon einen Konflikt, weil man ja [bei LLMs] erst einmal schaut, was man aus möglichst vielen Daten machen kann“, so die Expertin.

Ist KI rechtlich innerhalb der EU sogar per se in einem Graubereich?

Auch Transparenzbestimmungen – sowohl in der DSGVO als auch im AI-Act der EU – seien zu beachten. „Wenn ich KI verwende, muss ich auch wissen, was drinnen ist“, fasst Ségur-Cabanac zusammen. Ist KI also rechtlich innerhalb der EU sogar per se in einem Graubereich? „Nein, das glaube ich nicht. Aber man muss seine Hausaufgaben schon gut machen“, sagt die Expertin. Wichtig sei daher auch die im Rahmen des EU-AI-Acts eingeforderte KI-Kompetenz in Unternehmen – im technischen und rechtlichen Bereich.

KI-Kompetenz als zentrales Thema

Patrick Ratheiser stimmt zu: „Neben der Technologie selber sind bei unseren Kunden die Mitarbeiter ein Riesen-Thema. Man muss sie nicht nur wegen dem AI-Act fit bekommen, sondern es geht darum, sie wirklich auf die Anwendungen einzuschulen.“ Wichtig seien dabei auch die Kolleg:innen, die sich bereits mit dem Thema auskennen – die „Pioniere“ im Unternehmen. „AI Literacy ist sicherlich das Thema 2025 und in nächster Zeit. So, wie wir gelernt haben, mit dem Smartphone umzugehen, werden wir es auch mit generativer KI lernen“, so Ratheiser.

„Einfach einmal ausprobieren“

Stephan Kraft ergänzt: Neben einer soliden Datenbasis und der notwendigen Kompetenz brauche es bei KI – gerade auch im Bereich Open Source – noch etwas: „Einfach einmal ausprobieren. Es braucht auch Trial and Error. Das ist vielleicht oft das Schwierigste für CFOs und Geschäftsführer.“ Dieses Ausprobieren sollte aber innerhalb eines festgelegten Rahmens passieren, damit die KI-Implementierung gelingt, meint Natalie Ségur-Cabanac: „Unternehmen brauchen eine KI-Strategie und müssen wissen, was sie mit der Technologie erreichen wollen.“ Auch sich mit den zuvor angesprochenen rechtlichen Anforderungen – Stichwort Compliance – zu beschäftigen, komme zeitlich erst nach der Festlegung der Strategie.


Die gesamte Folge ansehen:

Die Nachlesen der bisherigen Folgen:

Folge 1: “No Hype KI – wo stehen wir nach zwei Jahren ChatGPT?

Folge 2: “Was kann KI in Gesundheit, Bildung und im öffentlichen Sektor leisten?

Folge 3: “Der größte Feind ist Zettel und Bleistift”: Erfolgsfaktoren und Herausforderungen in der KI-Praxis”

Folge 4: KI-Geschäftsmodelle: “Wir nutzen nur einen Bruchteil dessen, was möglich ist”


Die Serie wird von brutkasten in redaktioneller Unabhängigkeit mit finanzieller Unterstützung unserer Partner:innen produziert.

No Hype KI
Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag