06.07.2016

Grazer Startup xeet will “Siri für’s Organisieren” werden

Mitte Juli ist es soweit. xeet, ein Organisationsbot, der einem die Koordination von Veranstaltungen abnimmt, geht in den Release. Der Brutkasten sprach mit dem Team des Grazer Startups darüber, wie der Bot zum "Siri für's Organisieren" werden soll.
/artikel/graz-startup-xeet
(c) Xeet: Das Funder-Team (v.l.n.r.): Jakob Hohenberger, Bernd Hirschmann, Stefan Schnuderl, Harald Schaffernak

Den vier Foundern von xeet, Jakob Hohenberger, Bernd Hirschmann, Stefan Schnuderl und Harald Schaffernak, ging das ewige Hin- und Herschreiben, um die Treffen in ihren Sportgruppen zu organisieren, auf die Nerven. Weil sie keine befriedigende Lösung fanden, machten sie sich selbst an die Arbeit, einen Bot zu kreieren, der das übernimmt. Wichtig war den Foundern, dass jeder Nutzer dabei das Kommunikationstool nutzen kann, das er am liebsten hat. Der Bot fragt, wer kommt, verarbeitet die Antworten und erinnert die Teilnehmner.

Mitte Juli wird es soweit sein: Das Team wagt den Sprung von der geschlossenen Alpha-Version zum Release. Schon vorab haben die Founder dem Brutkasten erzählt, warum zuerst die englischsprachige Version kommt und warum die Integration von weiteren Messaging-Tools ganz einfach geht.

+++ Chatbots: The Next Big Thing? +++

Eine einfache Frage zum Starten: Wie kam es zum Namen “xeet”?

Wir haben uns damals im Freundes- und Bekanntenkreis zusammengesetzt und gebrainstormt. Es sind dann zwei Möglichkeiten übergeblieben. Nach mehreren Tagen, wo wir geschaut haben, ob wir gut mit den Namen umgehen können, ist es dann “xeet” geworden. Der Name ist eine Mischung aus „meet“ und dem “Cross” (X) aus Cross-Communication-Channel oder Cross-Platform.

Ihr seid vier Founder – das sind, verglichen mit anderen Startups, recht viele. Wie funktioniert da die Koordination? Gibt es eine klare Aufgabenteilung?

Mit vier Leuten kann man die Aufgaben natürlich nicht komplett klar auseinanderteilen, aber grundsätzlich haben wir schon Aufgabengebiete eingeteilt. Jakob macht zum Beispiel das Marketing, ich (Stefan) bin für die Operations zuständig, Bernd und Harald sind tiefer in der Technik drinnen. Aber wir arbeiten natürlich immer überkreuzend, wenn grad Not am Mann ist. Da packen dann alle an, wo sie gerade gebraucht werden.

Bei anderen Bots ist es so, dass es sich die Leute ansehen und sagen „ja, das ist interessant“, aber sie kommen nicht wieder.

Ihr habt vor zwei Monaten in einem Interview gesagt, wenn ihr genug Traction habt, geht ihr auf Investorensuche. Seid ihr schon einen Schritt näher?

Ja, wir sind jetzt schon einen Schritt näher. Wir haben derzeit eine geschlossene Alpha-Version. Die wird von 14 Gruppen mit rund 200 Personen genutzt. Weil das Gruppen mit wiederkehrenden Veranstaltungen sind, hauptsächlich Hobby-Sportgruppen, verwenden sie xeet regelmäßig, also wöchentlich. Das ist für uns sehr wichtig. Denn bei anderen Bots ist es derzeit so, dass sich die Leute diese ansehen und sagen „ja, das ist interessant“, aber sie kommen nicht wieder. Dadurch dass wir regelmäßige Veranstaltungen haben, können wir unsere Nutzer halten. Sie interagieren ständig mit dem Bot. Als nächsten Schritt sind wir jetzt noch dabei herauszufinden, wie xeet skaliert.

Wenn ihr nun einen Investor sucht. Wollt ihr eher einen, der sich heraushält, oder einen Business-Angel, der auch mit Rat und Tat zur Seite steht?

Rat und Tat dazu hilft schon. Denn unser Team ist sehr techniklastig. Wir haben unsere Idee verifiziert, wir wissen, dass sie draußen ankommt. Ziel ist es nun, perfekt in die Skalierung zu gehen und sie ganz groß rauszubringen. Wir wollen auf den Zug aufspringen und rechtzeitig das Thema rauspushen, unters Publikum bringen. Da können wir natürlich gute Unterstützung brauchen und da sind wir sehr dankbar für alte Hasen, die viel Erfahrungen haben.

Ihr habt ja mit Hobby-Sportgruppen begonnen. Wie und wann kam die Idee, das Konzept auf alle anderen Gruppen, etwa Bands, zu erweitern?

Die Vision hin zu “wir sind die Siri für’s Organisieren”, war immer dahinter. Wir haben nur eine spezielle, schmale Personengruppe gebraucht, wo es auch unkritisch ist, wenn etwas am Anfang noch nicht ganz passt. Bei Sportgruppen haben wir auch einfach einen entsprechenden Marktzugang gehabt. Das Ziel ist aber schon: Wir möchten alle Themen rund ums Organisieren mit xeet abdecken. Das heißt, es kommen dann genauso Datenverwaltungs- oder Abrechnungskonzepte dazu. Wir wollen in Zukunft alles, was von unseren Nutzern kommt, was sie als nächstes interessantes Feature sehen und was einem Organisator beim Organisieren hilft, integrieren. Sodass xeet dann im Laufe der Zeit der Bot wird, der einen in allen Belangen des Organisierens unterstützen kann.

Ziel ist: Alle Themen rund ums Organisieren mit xeet abdecken. Sodass xeet dann im Laufe der Zeit der Bot wird, der einen in allen Belangen des Organisierens unterstützen kann.

Ihr hattet ja jetzt schon eine Zeit lang eure geschlossene Alpha-Version laufen. Wie viel Feedback ist da gekommen, wie viel konntet ihr davon gut verwerten, wie stark habt ihr das Programm noch vor dem baldigen Release verändert?

Wir gehen weiter zum Release, weil die Alpha-Version sehr erfolgreich war. Aber es gab tatsächlich noch massive Änderungen. Der Input, der in der Alpha-Phase gekommen ist, war schon sehr stark. Uns wurde noch klarer, was der Bot können soll, wie er reagieren soll und welche Messages er schreiben soll. Und es gab natürlich noch weitere Erkenntnisse, wie zum Beispiel: Manche Gruppen möchten, dass die Teilnehmer standardmäßig dabei sind und nicht immer zusagen müssen, sondern nur absagen, wenn sie dann nicht können. Diese Einstellung ist dann im Laufe der Testphase dazugekommen.

Es ist technisch kein Problem in einen internationalen Rollout zu gehen.

Gibt es im Hintergrund schon Pläne für einen internationalen Rollout? Und wie kompliziert wäre es eigentlich, den Bot auf andere Sprachen zu adaptieren?

Dadurch, dass wir sehr stark auf die bestehenden Services im Bereich Natural Language Processing und in weiterer Folge Natural Language Generation setzen, die sich in letzter Zeit sehr gut etabliert haben, ist das relativ einfach für die großen Sprachen. Die Services, die wir nutzen, bieten im Moment etwa 15 bis 20 Sprachen an und damit ist es technisch kein Problem in einen internationalen Rollout zu gehen. Wenn wir jetzt releasen, beginnen wir mit Englisch. Wir wollen in den ganzen englischsprachigen Medien drinnen sein und dann gleich sehen, wie wir bei Amerikanern und Engländern mit dem Bot ankommen.

Das heißt, Deutsch wird am Anfang gar nicht unterstützt?

Nicht gleich beim Release, aber sehr bald nachher. Die geschlossene Alpha-Version ist bereits auf beiden Sprachen. Wir wollen es jetzt direkt beim Release aber noch möglichst schmal halten, daher zunächst mal Englisch und kurze Zeit später Deutsch.

Redaktionstipps

xeet unterstützt WhatsApp, SMS und Emails. Wenn beispielsweise nächsten Monat ein neues Kommunikationstool groß rauskommt – wie schnell kann das neue System integriert werden?

Wir verwenden als Technologie darunter das Microsoft Bot Framework, das übergreifend über die verschiedenen Kommunikationskanäle und über die verschiedenen Messenger funktioniert. Und das bringt für die Gruppen natürlich enorme Vorteile. Wirklich interessant wird so ein Tool für viele schließlich erst dadurch, dass SMS, Telegram, Slack, Skype und andere mehr unterstützt werden. Dann kann jeder der Teilnehmer auf seinem Kanal, den er präferiert, kommunizieren und alle haben trotzdem eine einzige gemeinsame Gruppe. Auf Facebook sind wir beispielsweise nicht, weil Facebook-Bots derzeit nicht in Gruppen unterstützt werden – damit können wir dann keinen Mehrwert für unsere Nutzer generieren. Aber wir könnten schnell in die Situation kommen, dass sich das ändert: Sobald Facebook Gruppen unterstützt, sind wir auch relativ schnell drinnen. Denn mit dem Microsoft Bot Framework können wir einen weiteren Kanal sehr einfach dazuschalten.

Provokant gefragt: Ihr nutzt das Microsoft Bot Framework, die Vorarbeit im Natural Language Processing. Ist euch da nicht schon sehr viel Arbeit abgenommen worden?

Ja, es ist sehr viel Arbeit, die andere für uns bereits gemacht haben, die wir aber zusammensetzen. Das heißt, wir verwenden das Bot Framework, damit wir nicht jeden Kanal extra ansprechen müssen, wir verwenden LUIS, damit wir Natural Language Processing nicht selbst implementieren müssen. Für uns heißt das, wir können uns wirklich auf unser Kernthema, nämlich die Logik beim Organisieren, konzentrieren. Dadurch passiert es nicht, dass wir uns in irgendwelchen technischen Problemen verzetteln, die große Konzerne längst gelöst haben.

Das heißt, ihr habt gute Dinge, die schon da sind, so zusammengeführt, dass etwas Neues bzw. ein Mehrwert kreiert wurde?

Im Bereich der technischen Basis, ja. Im Bereich der Anforderungen, die das Organisieren mit sich bringt, gibt es aber natürlich nichts vergleichbares. Das ist unsere Kerndomäne, dieser Bereich ist komplett selbst erarbeitet.

Wir waren sehr positiv überrascht, wie viel in der Grazer Startup-Szene los ist.

Anderes Thema: Wie erlebt ihr die Grazer Gründerszene?

Da tut sich erstaunlich viel. Wir sind erst draufgekommen, als wir unser Startup gegründet haben und uns ein bisschen näher mit der Thematik beschäftigt haben. Wir waren dann anfangs sehr positiv überrascht, wie viel in der Grazer Startup-Szene los ist. Viel passiert über das Ideentriebwerk und seinen Startup-Spritzer und ähnliche Veranstaltungen. Und es gibt sehr viele Co-Working-Spaces, die alle regelmäßig Veranstaltungen abhalten.

Habt ihr dadurch auch viel Kontakt zu anderen Startups?

Die Community ist natürlich nicht so, dass man über Monate hinweg immer neue Leute kennenlernt. Das heißt, wenn man mal vier, fünf Monate drinnen ist, sieht man schon immer wieder die gleichen Gesichter. Mit denen haben wir Kontakt und tauschen uns bei den Veranstaltungen aus.

Man muss seine Idee immer konsequent und stur weiterverfolgen.

Ihr seid gerade über die Anfangsphase hinaus. Was sollen Gründer in dieser beachten?

Man muss seine Idee immer konsequent und stur weiterverfolgen. Zugleich muss man sich aber Informationen von außen reinholen und Feedback annehmen und einarbeiten. Das sind zwei konträre Dinge, zwischen denen man die Waage finden muss, sodass man nicht in das eine oder andere Extrem hineinfällt.

Noch etwas, was ihr unseren Lesern vor dem Release sagen wollt?

Sobald der Release da ist, probiert es aus, schaut wie es funktioniert und gebt uns Feedback, was nicht funktioniert.

+++ Feedback-Tipps von Shpock-Gründer Armin Strbac +++

Deine ungelesenen Artikel:
27.01.2025

Open Source und KI: “Es geht nicht darum, zu den Guten zu gehören”

Nachlese. Die Nutzung von Open-Source-Modellen eröffnet Unternehmen auch im KI-Bereich weitreichende Möglichkeiten. Es gibt dabei aber auch einiges zu bedenken. Darüber und mehr diskutierten in Folge 5 von "No Hype KI" Stephan Kraft von Red Hat, Florian Böttcher von CANCOM Austria, Natalie Ségur-Cabanac von Women in AI und Patrick Ratheiser von Leftshift.One.
/artikel/no-hype-ki-folge-5
27.01.2025

Open Source und KI: “Es geht nicht darum, zu den Guten zu gehören”

Nachlese. Die Nutzung von Open-Source-Modellen eröffnet Unternehmen auch im KI-Bereich weitreichende Möglichkeiten. Es gibt dabei aber auch einiges zu bedenken. Darüber und mehr diskutierten in Folge 5 von "No Hype KI" Stephan Kraft von Red Hat, Florian Böttcher von CANCOM Austria, Natalie Ségur-Cabanac von Women in AI und Patrick Ratheiser von Leftshift.One.
/artikel/no-hype-ki-folge-5

“No Hype KI” wird unterstützt von CANCOM AustriaIBMITSVMicrosoftNagarroRed Hat und Universität Graz.

Kollaborativ, transparent, frei zugänglich und nicht profit-orientiert – mit Open-Source-Software wird eine Reihe von Eigenschaften assoziiert. Und oftmals stehen bei der Nutzung ethische Überlegungen im Zentrum. Dabei gibt es auch ganz praktische Gründe, die für eine Verwendung durch Unternehmen sprechen – auch bei der Implementierung von KI-Anwendungen, ist Stephan Kraft, Community Advocate & Business Development OpenShift & Application Services bei Red Hat, überzeugt. In Folge fünf der Serie “No Hype KI” diskutierte er dieses und weitere Themen mit Florian Böttcher, Solution Architect bei CANCOM Austria, Natalie Ségur-Cabanac, Policy Lead bei Women in AI und Patrick Ratheiser, Gründer & CEO von Leftshift.One.

“Thema ein Stück weit aus dieser emotionalen, moralisierenden Ecke herausholen”

“Ich will das Thema ein Stück weit aus dieser emotionalen, moralisierenden Ecke herausholen”, sagt Stephan Kraft. Für Red Hat als weltweit führenden Anbieter für Open-Source-Lösungen für Unternehmen gehen die Argumente für eine Nutzung nämlich weit darüber hinaus. “Es geht nicht darum, Open Source als Selbstzweck zu sehen, um zu den Guten zu gehören”, so der Experte. Tatsächlich sei die Verwendung von Open Source gerade bei der Etablierung von KI im Unternehmen für Startups und KMU eine wichtige Weichenstellung.

Offenheit, um Diskriminierung entgegenzuwirken

Auch Natalie Ségur-Cabanac sieht Open Source als “Key Technology” im KI-Bereich. Für “Women in AI” spiele die Offenheit eine zentrale Rolle: “Diese Offenheit braucht es, um Diskriminierung entgegenzuwirken.” Open Source verbessere den Zugang für Frauen zur Technologie, die Abbildung von Frauen in den Daten und es vergrößere die Möglichkeiten in der Forschung. Man müsse aber auch aufpassen, ob Software wirklich so offen sei, wie behauptet, sagt sie bezogen auf die aktuellen Diskussionen rund um OpenAI, das sich – ursprünglich als offenes Projekt gestartet – zum profitorientierten Unternehmen entwickelte. Es brauche auch eine klare Definition, was “open” sei.

Masse an Möglichkeiten

Leftshift.One-Gründer Patrick Ratheiser betont auch die schiere Masse an Möglichkeiten, die Open Source bietet. “2021 hatten wir weltweit Zugriff auf circa 5.000 Open-Source-Modelle. Jetzt sind es bereits mehr als eine Million.” Die Nutzbarkeit sei also klar gegeben, zudem biete die Technologie eine gewisse Unabhängigkeit und werde über ihre Vielfalt zum Innovationstreiber.

Ist Open Source immer die beste Lösung?

Doch bedeutet das, dass Open Source immer die optimale Lösung ist? Ratheiser sieht das differenziert: “Es ist ganz wichtig zu erkennen, was der Kunde braucht und was in dem Fall gerade notwendig ist. Egal, ob es nun On-Premise, in der Cloud, Open Source oder Closed Source ist.” Florian Böttcher von CANCOM Austria pflichtet hier bei: “Wir setzen genau so auf hybrid.”

Datenstruktur im Hintergrund ist entscheidend

Ein Thema, bei dem bei Open Source Vorsicht geboten ist, spricht Natalie Ségur-Cabanac an. Besonders wichtig sei es bei KI-Anwendungen, eine gute Datenstruktur im Hintergrund zu haben. “Die Verantwortung, dass ein Modell mit sauberen Daten trainiert worden ist, liegt bei den Anbietern. Bei Open Source verschwimmt das ein bisschen. Wer ist wofür zuständig? Das ist eine Herausforderung für die Compliance zu schauen, wo man selbst verantwortlich ist und wo man sich auf einen Anbieter verlassen kann.”

Compliance: Großes Thema – mehr Sichereheit mit professioneller Unterstützung

Stephan Kraft hakt hier ein. Genau aus solchen Gründen gebe es Unternehmen wie Red Hat, die mit ihrem Enterprise-Support für Open-Source-Lösungen die Qualitätssicherung auch im rechtlichen Bereich übernehmen. “Das ist ein ganz wichtiger Teil unseres Versprechens gegenüber Kunden”, so Kraft. Unbedacht im Unternehmen mit Open Source zu arbeiten, könne dagegen in “Compliance-Fallen” führen, pflichtet er Ségur-Cabanac bei.

Das sieht auch Patrick Ratheiser als Thema bei Leftshift.One: “Unsere Lösung ist Closed Source, wir setzen aber im Hintergrund Open Source ein. Wichtig ist, dass wir dem Kunden Compliance garantieren können.” Stephan Kraft empfiehlt Unternehmen bei der Open-Source-Nutzung: “Man kann nicht immer gleich die neueste ‘bleeding edge’-Lösung nehmen sondern sollte etwas konservativer herangehen.”

Infrastruktur: Gut planen, was man wirklich braucht

Unabhängig davon, ob man nun Open Source oder Closed Source nutzt, braucht es für die Nutzung von KI die richtige Infrastruktur. “Es kommt natürlich auf den Use Case an, den ein Unternehmen umsetzen will. Da sind die Anforderungen an die Infrastruktur sehr unterschiedlich”, grenzt Florian Böttcher ein. CANCOM Austria unterstützt seine Kunden in genau der Frage. Anwendungen wie das Training von KI-Modellen würde aus gutem Grund kaum in Österreich umgesetzt. “KI ist sehr stromhungrig und entwickelt viel Hitze. Das ist schwierig für ein eigenes Data-Center im Unternehmen, gerade wenn man die Strompreise in Österreich ansieht”, so Böttcher.

“Rechenleistungs-Hunger” von KI könnte sich in Zukunft verringern

Wichtig sei es letztlich, sich als Unternehmen sehr klar darüber zu sein, was man umsetzen wolle. “Danach, welche Software-Lösung man für seinen Use Case einsetzen muss, richtet sich auch die Infrastruktur”, so Böttcher. Er erwarte aber auch, dass die KI-Modelle im nächsten Entwicklungsschritt effizienter werden und der “Rechenleistungs-Hunger” sich verringere.

Patrick Ratheiser ergänzt: “Es ist grundsätzlich eine Kostenfrage.” Unternehmen müssten sich sehr gut überlegen, ob sie ein eigenes LLM (Large Language Model) betreiben und dieses sogar selbst trainieren wollen, oder lieber doch eine Usage-basierte Lösung wählen. Er sehe bei österreichischen Unternehmen – auch bei größeren – eine klare Tendenz zur zweiten Variante. “Es lässt sich deutlich schneller einrichten, ist kalkulierbarer und auch viel schneller skalierbar”, erklärt Ratheiser.

Etwa im Forschungsbereich sei es jedoch wichtig und notwendig, auch eigene LLMs und die damit verbundene Infrastruktur zu betreiben. Doch auch die Möglichkeit von hybriden Lösungen biete sich an. “Man kann mittlerweile auch Teile in der Cloud lassen und Teile On-Premise. Man kann etwa nur ein datenschutzsicheres LLM selbst betreiben”, erklärt der Experte, der auch bei der Wahl der genutzten Modelle einen hybriden Ansatz empfiehlt: “Man braucht nicht für alle Use Cases das neueste Modell. Manchmal braucht man überhaupt kein LLM.”

Datenschutz: Einige Herausforderungen bei LLMs

Stichwort: Datenschutz. Hier schafft die europäische Datenschutzgrundverordnung (DSGVO) im KI-Bereich besondere Herausforderungen, weiß Natalie Ségur-Cabanac, die vorab betont: “Ich persönlich halte die DSGVO für ein gutes Regulierungswerk, weil sie sehr viel Spielraum gibt. Ich sage immer: Datenschutz ist sehr komplex, aber nicht kompliziert.” Konkret seien etwa der Grundsatz der Zweckbezogenheit, also dass man Daten nur für konkrete Zwecke einsetzen darf, und dass man sie minimierend einsetzen muss, relevant für den KI-Bereich. “Da haben wir schon einen Konflikt, weil man ja [bei LLMs] erst einmal schaut, was man aus möglichst vielen Daten machen kann”, so die Expertin.

Ist KI rechtlich innerhalb der EU sogar per se in einem Graubereich?

Auch Transparenzbestimmungen – sowohl in der DSGVO als auch im AI-Act der EU – seien zu beachten. “Wenn ich KI verwende, muss ich auch wissen, was drinnen ist”, fasst Ségur-Cabanac zusammen. Ist KI also rechtlich innerhalb der EU sogar per se in einem Graubereich? “Nein, das glaube ich nicht. Aber man muss seine Hausaufgaben schon gut machen”, sagt die Expertin. Wichtig sei daher auch die im Rahmen des EU-AI-Acts eingeforderte KI-Kompetenz in Unternehmen – im technischen und rechtlichen Bereich.

KI-Kompetenz als zentrales Thema

Patrick Ratheiser stimmt zu: “Neben der Technologie selber sind bei unseren Kunden die Mitarbeiter ein Riesen-Thema. Man muss sie nicht nur wegen dem AI-Act fit bekommen, sondern es geht darum, sie wirklich auf die Anwendungen einzuschulen.” Wichtig seien dabei auch die Kolleg:innen, die sich bereits mit dem Thema auskennen – die “Pioniere” im Unternehmen. “AI Literacy ist sicherlich das Thema 2025 und in nächster Zeit. So, wie wir gelernt haben, mit dem Smartphone umzugehen, werden wir es auch mit generativer KI lernen”, so Ratheiser.

“Einfach einmal ausprobieren”

Stephan Kraft ergänzt: Neben einer soliden Datenbasis und der notwendigen Kompetenz brauche es bei KI – gerade auch im Bereich Open Source – noch etwas: “Einfach einmal ausprobieren. Es braucht auch Trial and Error. Das ist vielleicht oft das Schwierigste für CFOs und Geschäftsführer.” Dieses Ausprobieren sollte aber innerhalb eines festgelegten Rahmens passieren, damit die KI-Implementierung gelingt, meint Natalie Ségur-Cabanac: “Unternehmen brauchen eine KI-Strategie und müssen wissen, was sie mit der Technologie erreichen wollen.” Auch sich mit den zuvor angesprochenen rechtlichen Anforderungen – Stichwort Compliance – zu beschäftigen, komme zeitlich erst nach der Festlegung der Strategie.


Die gesamte Folge ansehen:

Die Nachlesen der bisherigen Folgen:

Folge 1: “No Hype KI – wo stehen wir nach zwei Jahren ChatGPT?

Folge 2: “Was kann KI in Gesundheit, Bildung und im öffentlichen Sektor leisten?

Folge 3: “Der größte Feind ist Zettel und Bleistift”: Erfolgsfaktoren und Herausforderungen in der KI-Praxis”

Folge 4: KI-Geschäftsmodelle: “Wir nutzen nur einen Bruchteil dessen, was möglich ist”


Die Serie wird von brutkasten in redaktioneller Unabhängigkeit mit finanzieller Unterstützung unserer Partner:innen produziert.

No Hype KI
27.01.2025

Open Source und KI: “Es geht nicht darum, zu den Guten zu gehören”

Nachlese. Die Nutzung von Open-Source-Modellen eröffnet Unternehmen auch im KI-Bereich weitreichende Möglichkeiten. Es gibt dabei aber auch einiges zu bedenken. Darüber und mehr diskutierten in Folge 5 von "No Hype KI" Stephan Kraft von Red Hat, Florian Böttcher von CANCOM Austria, Natalie Ségur-Cabanac von Women in AI und Patrick Ratheiser von Leftshift.One.
27.01.2025

Open Source und KI: “Es geht nicht darum, zu den Guten zu gehören”

Nachlese. Die Nutzung von Open-Source-Modellen eröffnet Unternehmen auch im KI-Bereich weitreichende Möglichkeiten. Es gibt dabei aber auch einiges zu bedenken. Darüber und mehr diskutierten in Folge 5 von "No Hype KI" Stephan Kraft von Red Hat, Florian Böttcher von CANCOM Austria, Natalie Ségur-Cabanac von Women in AI und Patrick Ratheiser von Leftshift.One.

“No Hype KI” wird unterstützt von CANCOM AustriaIBMITSVMicrosoftNagarroRed Hat und Universität Graz.

Kollaborativ, transparent, frei zugänglich und nicht profit-orientiert – mit Open-Source-Software wird eine Reihe von Eigenschaften assoziiert. Und oftmals stehen bei der Nutzung ethische Überlegungen im Zentrum. Dabei gibt es auch ganz praktische Gründe, die für eine Verwendung durch Unternehmen sprechen – auch bei der Implementierung von KI-Anwendungen, ist Stephan Kraft, Community Advocate & Business Development OpenShift & Application Services bei Red Hat, überzeugt. In Folge fünf der Serie “No Hype KI” diskutierte er dieses und weitere Themen mit Florian Böttcher, Solution Architect bei CANCOM Austria, Natalie Ségur-Cabanac, Policy Lead bei Women in AI und Patrick Ratheiser, Gründer & CEO von Leftshift.One.

“Thema ein Stück weit aus dieser emotionalen, moralisierenden Ecke herausholen”

“Ich will das Thema ein Stück weit aus dieser emotionalen, moralisierenden Ecke herausholen”, sagt Stephan Kraft. Für Red Hat als weltweit führenden Anbieter für Open-Source-Lösungen für Unternehmen gehen die Argumente für eine Nutzung nämlich weit darüber hinaus. “Es geht nicht darum, Open Source als Selbstzweck zu sehen, um zu den Guten zu gehören”, so der Experte. Tatsächlich sei die Verwendung von Open Source gerade bei der Etablierung von KI im Unternehmen für Startups und KMU eine wichtige Weichenstellung.

Offenheit, um Diskriminierung entgegenzuwirken

Auch Natalie Ségur-Cabanac sieht Open Source als “Key Technology” im KI-Bereich. Für “Women in AI” spiele die Offenheit eine zentrale Rolle: “Diese Offenheit braucht es, um Diskriminierung entgegenzuwirken.” Open Source verbessere den Zugang für Frauen zur Technologie, die Abbildung von Frauen in den Daten und es vergrößere die Möglichkeiten in der Forschung. Man müsse aber auch aufpassen, ob Software wirklich so offen sei, wie behauptet, sagt sie bezogen auf die aktuellen Diskussionen rund um OpenAI, das sich – ursprünglich als offenes Projekt gestartet – zum profitorientierten Unternehmen entwickelte. Es brauche auch eine klare Definition, was “open” sei.

Masse an Möglichkeiten

Leftshift.One-Gründer Patrick Ratheiser betont auch die schiere Masse an Möglichkeiten, die Open Source bietet. “2021 hatten wir weltweit Zugriff auf circa 5.000 Open-Source-Modelle. Jetzt sind es bereits mehr als eine Million.” Die Nutzbarkeit sei also klar gegeben, zudem biete die Technologie eine gewisse Unabhängigkeit und werde über ihre Vielfalt zum Innovationstreiber.

Ist Open Source immer die beste Lösung?

Doch bedeutet das, dass Open Source immer die optimale Lösung ist? Ratheiser sieht das differenziert: “Es ist ganz wichtig zu erkennen, was der Kunde braucht und was in dem Fall gerade notwendig ist. Egal, ob es nun On-Premise, in der Cloud, Open Source oder Closed Source ist.” Florian Böttcher von CANCOM Austria pflichtet hier bei: “Wir setzen genau so auf hybrid.”

Datenstruktur im Hintergrund ist entscheidend

Ein Thema, bei dem bei Open Source Vorsicht geboten ist, spricht Natalie Ségur-Cabanac an. Besonders wichtig sei es bei KI-Anwendungen, eine gute Datenstruktur im Hintergrund zu haben. “Die Verantwortung, dass ein Modell mit sauberen Daten trainiert worden ist, liegt bei den Anbietern. Bei Open Source verschwimmt das ein bisschen. Wer ist wofür zuständig? Das ist eine Herausforderung für die Compliance zu schauen, wo man selbst verantwortlich ist und wo man sich auf einen Anbieter verlassen kann.”

Compliance: Großes Thema – mehr Sichereheit mit professioneller Unterstützung

Stephan Kraft hakt hier ein. Genau aus solchen Gründen gebe es Unternehmen wie Red Hat, die mit ihrem Enterprise-Support für Open-Source-Lösungen die Qualitätssicherung auch im rechtlichen Bereich übernehmen. “Das ist ein ganz wichtiger Teil unseres Versprechens gegenüber Kunden”, so Kraft. Unbedacht im Unternehmen mit Open Source zu arbeiten, könne dagegen in “Compliance-Fallen” führen, pflichtet er Ségur-Cabanac bei.

Das sieht auch Patrick Ratheiser als Thema bei Leftshift.One: “Unsere Lösung ist Closed Source, wir setzen aber im Hintergrund Open Source ein. Wichtig ist, dass wir dem Kunden Compliance garantieren können.” Stephan Kraft empfiehlt Unternehmen bei der Open-Source-Nutzung: “Man kann nicht immer gleich die neueste ‘bleeding edge’-Lösung nehmen sondern sollte etwas konservativer herangehen.”

Infrastruktur: Gut planen, was man wirklich braucht

Unabhängig davon, ob man nun Open Source oder Closed Source nutzt, braucht es für die Nutzung von KI die richtige Infrastruktur. “Es kommt natürlich auf den Use Case an, den ein Unternehmen umsetzen will. Da sind die Anforderungen an die Infrastruktur sehr unterschiedlich”, grenzt Florian Böttcher ein. CANCOM Austria unterstützt seine Kunden in genau der Frage. Anwendungen wie das Training von KI-Modellen würde aus gutem Grund kaum in Österreich umgesetzt. “KI ist sehr stromhungrig und entwickelt viel Hitze. Das ist schwierig für ein eigenes Data-Center im Unternehmen, gerade wenn man die Strompreise in Österreich ansieht”, so Böttcher.

“Rechenleistungs-Hunger” von KI könnte sich in Zukunft verringern

Wichtig sei es letztlich, sich als Unternehmen sehr klar darüber zu sein, was man umsetzen wolle. “Danach, welche Software-Lösung man für seinen Use Case einsetzen muss, richtet sich auch die Infrastruktur”, so Böttcher. Er erwarte aber auch, dass die KI-Modelle im nächsten Entwicklungsschritt effizienter werden und der “Rechenleistungs-Hunger” sich verringere.

Patrick Ratheiser ergänzt: “Es ist grundsätzlich eine Kostenfrage.” Unternehmen müssten sich sehr gut überlegen, ob sie ein eigenes LLM (Large Language Model) betreiben und dieses sogar selbst trainieren wollen, oder lieber doch eine Usage-basierte Lösung wählen. Er sehe bei österreichischen Unternehmen – auch bei größeren – eine klare Tendenz zur zweiten Variante. “Es lässt sich deutlich schneller einrichten, ist kalkulierbarer und auch viel schneller skalierbar”, erklärt Ratheiser.

Etwa im Forschungsbereich sei es jedoch wichtig und notwendig, auch eigene LLMs und die damit verbundene Infrastruktur zu betreiben. Doch auch die Möglichkeit von hybriden Lösungen biete sich an. “Man kann mittlerweile auch Teile in der Cloud lassen und Teile On-Premise. Man kann etwa nur ein datenschutzsicheres LLM selbst betreiben”, erklärt der Experte, der auch bei der Wahl der genutzten Modelle einen hybriden Ansatz empfiehlt: “Man braucht nicht für alle Use Cases das neueste Modell. Manchmal braucht man überhaupt kein LLM.”

Datenschutz: Einige Herausforderungen bei LLMs

Stichwort: Datenschutz. Hier schafft die europäische Datenschutzgrundverordnung (DSGVO) im KI-Bereich besondere Herausforderungen, weiß Natalie Ségur-Cabanac, die vorab betont: “Ich persönlich halte die DSGVO für ein gutes Regulierungswerk, weil sie sehr viel Spielraum gibt. Ich sage immer: Datenschutz ist sehr komplex, aber nicht kompliziert.” Konkret seien etwa der Grundsatz der Zweckbezogenheit, also dass man Daten nur für konkrete Zwecke einsetzen darf, und dass man sie minimierend einsetzen muss, relevant für den KI-Bereich. “Da haben wir schon einen Konflikt, weil man ja [bei LLMs] erst einmal schaut, was man aus möglichst vielen Daten machen kann”, so die Expertin.

Ist KI rechtlich innerhalb der EU sogar per se in einem Graubereich?

Auch Transparenzbestimmungen – sowohl in der DSGVO als auch im AI-Act der EU – seien zu beachten. “Wenn ich KI verwende, muss ich auch wissen, was drinnen ist”, fasst Ségur-Cabanac zusammen. Ist KI also rechtlich innerhalb der EU sogar per se in einem Graubereich? “Nein, das glaube ich nicht. Aber man muss seine Hausaufgaben schon gut machen”, sagt die Expertin. Wichtig sei daher auch die im Rahmen des EU-AI-Acts eingeforderte KI-Kompetenz in Unternehmen – im technischen und rechtlichen Bereich.

KI-Kompetenz als zentrales Thema

Patrick Ratheiser stimmt zu: “Neben der Technologie selber sind bei unseren Kunden die Mitarbeiter ein Riesen-Thema. Man muss sie nicht nur wegen dem AI-Act fit bekommen, sondern es geht darum, sie wirklich auf die Anwendungen einzuschulen.” Wichtig seien dabei auch die Kolleg:innen, die sich bereits mit dem Thema auskennen – die “Pioniere” im Unternehmen. “AI Literacy ist sicherlich das Thema 2025 und in nächster Zeit. So, wie wir gelernt haben, mit dem Smartphone umzugehen, werden wir es auch mit generativer KI lernen”, so Ratheiser.

“Einfach einmal ausprobieren”

Stephan Kraft ergänzt: Neben einer soliden Datenbasis und der notwendigen Kompetenz brauche es bei KI – gerade auch im Bereich Open Source – noch etwas: “Einfach einmal ausprobieren. Es braucht auch Trial and Error. Das ist vielleicht oft das Schwierigste für CFOs und Geschäftsführer.” Dieses Ausprobieren sollte aber innerhalb eines festgelegten Rahmens passieren, damit die KI-Implementierung gelingt, meint Natalie Ségur-Cabanac: “Unternehmen brauchen eine KI-Strategie und müssen wissen, was sie mit der Technologie erreichen wollen.” Auch sich mit den zuvor angesprochenen rechtlichen Anforderungen – Stichwort Compliance – zu beschäftigen, komme zeitlich erst nach der Festlegung der Strategie.


Die gesamte Folge ansehen:

Die Nachlesen der bisherigen Folgen:

Folge 1: “No Hype KI – wo stehen wir nach zwei Jahren ChatGPT?

Folge 2: “Was kann KI in Gesundheit, Bildung und im öffentlichen Sektor leisten?

Folge 3: “Der größte Feind ist Zettel und Bleistift”: Erfolgsfaktoren und Herausforderungen in der KI-Praxis”

Folge 4: KI-Geschäftsmodelle: “Wir nutzen nur einen Bruchteil dessen, was möglich ist”


Die Serie wird von brutkasten in redaktioneller Unabhängigkeit mit finanzieller Unterstützung unserer Partner:innen produziert.

No Hype KI
Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag