Mit VEA soll im neuen Jahr ein virtueller Immobilienmakler gelauncht werden. Die Lösung, die vom Grazer Unternehmen Botential entwickelt wurde, basiert auf einem Chabot, der Maklern und Vermietern Zeit sparen soll, indem er Fragen beantwortet oder Termine vorschlägt. Dem Brutkasten verrät Jakob Hohenberger noch vor dem Launch, wieso sie einen Branchenpartner aus dem Immobilienbereich an Board geholt haben und wie man ein Produkt testet, bevor es überhaupt live ist.
Die Suche nach einer Wohnung ist meistens zeitaufwendig und kann durchaus sehr anstrengend sein. Denn hat man nach dem Durchsuchen von etlichen Wohnungsplattformen ein passendes Objekt gefunden und kontaktiert den Anbieter, hört man oft lange nichts zurück. Überhaupt bleiben meist viele Fragen unbeantwortet.
VEA spart dem Makler und dem Suchenden Zeit
Die Grazer Firma Botential will für dieses Problem eine Lösung gefunden haben und hat einen Chatbot entwickelt, der rund um die Uhr erreichbar ist. Der virtueller Assistent für Immobilienmakler und Vermieter kann auf der Firmen-Website integriert werden und ist per Facebook-Messenger, E-Mail oder SMS erreichbar. Der Chatbot kann etwa Suchanfragen beantworten oder Termine vorschlagen- und spart dadurch sowohl dem Makler, als auch dem Suchenden viel Zeit.
Freie Domain ausschlaggebend
Der Name VEA war ein “relativ schnelles Finding”, verrät Jakob Hohenberger von Botential im Interview mit dem Brutkasten. Innerhalb weniger Stunden habe Hohenberger das komplette Designkonzept ausgearbeitet. “Dabei habe ich immer an den “virtuellen Immobilienmakler” denken müssen”, so Hohenberger. Daher rührt auch der Name des Chabots: “VEA ist die Englische Übersetzung und steht für Virtual Estate Agent. Und dann war die Domain frei- das war ausschlaggebend”.
Dem Brutkasten verrät Hohenberger außerdem, wieso man keine Plattform à la willhaben entwickeln wollte, sondern auf einen Chatbot setzt. Außerdem erzählt er, wie das Grazer Team ein Projekt noch vor dem Launch an Usern testet.
Wieso habt ihr “VEA” gestartet?
Screenshot von VEA
Ungefähr vor einem halben Jahr sind wir an eine größere Immobilienfirma herangetreten, die ihre eigenen Immobilien verwaltet. Deren Geschäftsmodell ist die Leerstandsquote durch höheren Service niedrig zu halten- das bedeutet, dass die Mitarbeiter quasi rund um die Uhr erreichbar sind. Ursprünglich wollten sie von uns eine Immobilienplattform à la willhaben. In verschiedenen Gesprächen sind wir dann darauf gestoßen, dass eine solche Plattform eher wenig Perspektive hat, aber, dass wir mit unserer Technologie ihr Geschäftsmodell unterstützen können.
Eure Firma Botential entwickelt Chatbots für Unternehmen, das heißt, ihr habt eine Chatbot-Lösung angeboten?
Ja. Wir wollten einen automatisierten Kundendialog rund um die Uhr und in einer hohen Servicequalität anbieten. Als die Umsetzung des Chatbots für jenes Unternehmen gestartet hat, haben wir uns in der Branche umgehört und nachgeforscht, welchen Mehrwert ein Chatbot hier bieten kann. Die Resonanz war sehr positiv. Daher haben wir uns entschlossen, das ganze in eine Branchenlösung umzuwandeln.
Wie hat die Immobilienfirma darauf reagiert?
Wir sind an sie mit dem Vorschlag herangetreten, dass wir das Risiko unter uns aufteilen und uns an der Lösung zu 50:50 beteiligen. Die Rückmeldung war relativ kurz und positiv. Innerhalb eines Tages wurde uns mitgeteilt, dass man gerne mitmachen möchte. Wir teilen uns die Finanzen, das Risiko, alles wird bei der Kooperation “brüderlich” geteilt.
Wieso habt ihr euch schlussendlich gegen die Plattform entschieden?
In Österreich gibt es bereits zwei, bzw. drei große Plattform-Player am Immobilienmarkt: willhaben oder immoscout sind etabliert- wir hätten da keinen Mehrwert bieten können. Kurzfristig dachten wir daran, etwas Besonderes anzubieten, wie zB. eine Virtual Reality-Besichtigung, sodass man den Besichtigungsprozess automatisch von der eigenen Couch aus abhandeln kann. Aber auch da gibt es bereits einige Mitbewerber, die an einer solchen Lösung arbeiten.
Ist VEA schon live?
Spätestens im Februar soll eine erste Version live gehen. Aktuell sind wir noch einer privaten Phase. Das heißt, wir lernen das System noch an und wir entwickeln noch den letzten Teil der Geschäftslogik. In Q3 erwarten wir dann bereits eine “gepimptere” Version. Wir bemühen uns aktuell auch um eine FFG Basisprogrammförderung.
Wie testet man einen Bot, der noch keine User hat? Ihr kommt auch nicht aus der Immobilienbranche…
Daher war es uns auch sehr wichtig, mit jemandem aus dem Bereich zusammen zu arbeiten. Es ist immer angenehm, wenn man einen Branchenpartner mit dabei hat. Wir evaluieren Ideen immer anhand der “Lean Startup”-Methode. Bei dieser werden Experimente definiert und dann durchgeführt. Anhand von den Ergebnissen entscheidet man dann, was das nächste Experiment ist. Momentan gehen wir genau so vor: Wir definieren Experimente zwischen ein bis drei Wochen, dann messen wir die Ergebnisse und setzten ein neues an. Dabei schließen wir uns immer auch mit unserem Branchenpartner kurz. Wir evaluieren direkt in der Zielgruppe, welche Features wichtig sind, bzw. welches Wording passt.
Wie macht ihr das? Habt ihr bspw. bereits Marketingmaßnahmen gesetzt?
Nein, einstweilen sind keine großen Marketingmaßnahmen geplant. Wir besuchen aber entsprechende Veranstaltungen, haben unter Umständen einen Stand. Online Marketing betreiben wir nicht. Wenn wir Marketingbudget aufwenden, verwenden wir immer nur sehr wenig Geld und messen anhand von Klickraten, bzw. Leseraten genau wie die Resonanz ist. Wir testen konkret aus, welche Features am interessantesten sind. Zum Beispiel schicken wir schnell einen Newsletter aus und messen, wo am meisten drauf geklickt wurde.
Das heißt, es kommen immer noch Funktionen dazu?
Ja, denn der exakte Prozess ist noch nicht fertig definiert. Zum Beispiel wollten wir mit dem Chatbot die Terminkoordination dem Makler abnehmen. Wir sind aber drauf gekommen, dass die meisten Makler eine One-Man-Show sind und ihren Terminkalender zu 100 Prozent selbst organisieren wollen. Die möchten keine Automatisierung der Termine.
Wie sieht euer Businessmodell aus?
Wir wollen eine Zero Touch Sales Lösung, das heißt, die komplette Konfiguration soll später über eine Weboberfläche passieren können. Immobilienfirmen sollen einen Arbeitsplatz buchen können, der VEA-Chatbot ist dann als erweitertes Modul dazu buchbar.
Soll VEA ein eigenständiges Unternehmen werden?
Sofern alle Experimente positiv verlaufen und wir weiterhin positive Resonanz bekommen, möchten wir es in eine eigene Gesellschaft weiterführen. Dann stellt einer von uns von Botential einen Geschäftsführer und einer wird von unserem Branchenpartner gestellt.
Ihr habt bei Botential schon einige Chatbot-Projekte umgesetzt. Zum Beispiel den Wachhund Bot. Wie viele seid ihr im Team?
Insgesamt sind wir elf Personen, wovon acht an unserem Standort in Graz arbeiten. Das Wachhund Projekt hat ein sehr starkes Wachstum in Österreich. Wir generieren zwischen 100 und 150 neue User pro Woche- und das obwohl wir erst vor rund zwei Monaten gestartet sind. Der Bot verzeichnet circa 1000 aktive Nutzer.
Open Source und KI: “Es geht nicht darum, zu den Guten zu gehören”
Nachlese. Die Nutzung von Open-Source-Modellen eröffnet Unternehmen auch im KI-Bereich weitreichende Möglichkeiten. Es gibt dabei aber auch einiges zu bedenken. Darüber und mehr diskutierten in Folge 5 von "No Hype KI" Stephan Kraft von Red Hat, Florian Böttcher von CANCOM Austria, Natalie Ségur-Cabanac von Women in AI und Patrick Ratheiser von Leftshift.One.
Open Source und KI: “Es geht nicht darum, zu den Guten zu gehören”
Nachlese. Die Nutzung von Open-Source-Modellen eröffnet Unternehmen auch im KI-Bereich weitreichende Möglichkeiten. Es gibt dabei aber auch einiges zu bedenken. Darüber und mehr diskutierten in Folge 5 von "No Hype KI" Stephan Kraft von Red Hat, Florian Böttcher von CANCOM Austria, Natalie Ségur-Cabanac von Women in AI und Patrick Ratheiser von Leftshift.One.
Kollaborativ, transparent, frei zugänglich und nicht profit-orientiert – mit Open-Source-Software wird eine Reihe von Eigenschaften assoziiert. Und oftmals stehen bei der Nutzung ethische Überlegungen im Zentrum. Dabei gibt es auch ganz praktische Gründe, die für eine Verwendung durch Unternehmen sprechen – auch bei der Implementierung von KI-Anwendungen, ist Stephan Kraft, Community Advocate & Business Development OpenShift & Application Services bei Red Hat, überzeugt. In Folge fünf der Serie “No Hype KI” diskutierte er dieses und weitere Themen mit Florian Böttcher, Solution Architect bei CANCOM Austria, Natalie Ségur-Cabanac, Policy Lead bei Women in AI und Patrick Ratheiser, Gründer & CEO von Leftshift.One.
“Thema ein Stück weit aus dieser emotionalen, moralisierenden Ecke herausholen”
“Ich will das Thema ein Stück weit aus dieser emotionalen, moralisierenden Ecke herausholen”, sagt Stephan Kraft. Für Red Hat als weltweit führenden Anbieter für Open-Source-Lösungen für Unternehmen gehen die Argumente für eine Nutzung nämlich weit darüber hinaus. “Es geht nicht darum, Open Source als Selbstzweck zu sehen, um zu den Guten zu gehören”, so der Experte. Tatsächlich sei die Verwendung von Open Source gerade bei der Etablierung von KI im Unternehmen für Startups und KMU eine wichtige Weichenstellung.
Offenheit, um Diskriminierung entgegenzuwirken
Auch Natalie Ségur-Cabanac sieht Open Source als “Key Technology” im KI-Bereich. Für “Women in AI” spiele die Offenheit eine zentrale Rolle: “Diese Offenheit braucht es, um Diskriminierung entgegenzuwirken.” Open Source verbessere den Zugang für Frauen zur Technologie, die Abbildung von Frauen in den Daten und es vergrößere die Möglichkeiten in der Forschung. Man müsse aber auch aufpassen, ob Software wirklich so offen sei, wie behauptet, sagt sie bezogen auf die aktuellen Diskussionen rund um OpenAI, das sich – ursprünglich als offenes Projekt gestartet – zum profitorientierten Unternehmen entwickelte. Es brauche auch eine klare Definition, was “open” sei.
Masse an Möglichkeiten
Leftshift.One-Gründer Patrick Ratheiser betont auch die schiere Masse an Möglichkeiten, die Open Source bietet. “2021 hatten wir weltweit Zugriff auf circa 5.000 Open-Source-Modelle. Jetzt sind es bereits mehr als eine Million.” Die Nutzbarkeit sei also klar gegeben, zudem biete die Technologie eine gewisse Unabhängigkeit und werde über ihre Vielfalt zum Innovationstreiber.
Ist Open Source immer die beste Lösung?
Doch bedeutet das, dass Open Source immer die optimale Lösung ist? Ratheiser sieht das differenziert: “Es ist ganz wichtig zu erkennen, was der Kunde braucht und was in dem Fall gerade notwendig ist. Egal, ob es nun On-Premise, in der Cloud, Open Source oder Closed Source ist.” Florian Böttcher von CANCOM Austria pflichtet hier bei: “Wir setzen genau so auf hybrid.”
Datenstruktur im Hintergrund ist entscheidend
Ein Thema, bei dem bei Open Source Vorsicht geboten ist, spricht Natalie Ségur-Cabanac an. Besonders wichtig sei es bei KI-Anwendungen, eine gute Datenstruktur im Hintergrund zu haben. “Die Verantwortung, dass ein Modell mit sauberen Daten trainiert worden ist, liegt bei den Anbietern. Bei Open Source verschwimmt das ein bisschen. Wer ist wofür zuständig? Das ist eine Herausforderung für die Compliance zu schauen, wo man selbst verantwortlich ist und wo man sich auf einen Anbieter verlassen kann.”
Compliance: Großes Thema – mehr Sichereheit mit professioneller Unterstützung
Stephan Kraft hakt hier ein. Genau aus solchen Gründen gebe es Unternehmen wie Red Hat, die mit ihrem Enterprise-Support für Open-Source-Lösungen die Qualitätssicherung auch im rechtlichen Bereich übernehmen. “Das ist ein ganz wichtiger Teil unseres Versprechens gegenüber Kunden”, so Kraft. Unbedacht im Unternehmen mit Open Source zu arbeiten, könne dagegen in “Compliance-Fallen” führen, pflichtet er Ségur-Cabanac bei.
Das sieht auch Patrick Ratheiser als Thema bei Leftshift.One: “Unsere Lösung ist Closed Source, wir setzen aber im Hintergrund Open Source ein. Wichtig ist, dass wir dem Kunden Compliance garantieren können.” Stephan Kraft empfiehlt Unternehmen bei der Open-Source-Nutzung: “Man kann nicht immer gleich die neueste ‘bleeding edge’-Lösung nehmen sondern sollte etwas konservativer herangehen.”
Infrastruktur: Gut planen, was man wirklich braucht
Unabhängig davon, ob man nun Open Source oder Closed Source nutzt, braucht es für die Nutzung von KI die richtige Infrastruktur. “Es kommt natürlich auf den Use Case an, den ein Unternehmen umsetzen will. Da sind die Anforderungen an die Infrastruktur sehr unterschiedlich”, grenzt Florian Böttcher ein. CANCOM Austria unterstützt seine Kunden in genau der Frage. Anwendungen wie das Training von KI-Modellen würde aus gutem Grund kaum in Österreich umgesetzt. “KI ist sehr stromhungrig und entwickelt viel Hitze. Das ist schwierig für ein eigenes Data-Center im Unternehmen, gerade wenn man die Strompreise in Österreich ansieht”, so Böttcher.
“Rechenleistungs-Hunger” von KI könnte sich in Zukunft verringern
Wichtig sei es letztlich, sich als Unternehmen sehr klar darüber zu sein, was man umsetzen wolle. “Danach, welche Software-Lösung man für seinen Use Case einsetzen muss, richtet sich auch die Infrastruktur”, so Böttcher. Er erwarte aber auch, dass die KI-Modelle im nächsten Entwicklungsschritt effizienter werden und der “Rechenleistungs-Hunger” sich verringere.
Patrick Ratheiser ergänzt: “Es ist grundsätzlich eine Kostenfrage.” Unternehmen müssten sich sehr gut überlegen, ob sie ein eigenes LLM (Large Language Model) betreiben und dieses sogar selbst trainieren wollen, oder lieber doch eine Usage-basierte Lösung wählen. Er sehe bei österreichischen Unternehmen – auch bei größeren – eine klare Tendenz zur zweiten Variante. “Es lässt sich deutlich schneller einrichten, ist kalkulierbarer und auch viel schneller skalierbar”, erklärt Ratheiser.
Etwa im Forschungsbereich sei es jedoch wichtig und notwendig, auch eigene LLMs und die damit verbundene Infrastruktur zu betreiben. Doch auch die Möglichkeit von hybriden Lösungen biete sich an. “Man kann mittlerweile auch Teile in der Cloud lassen und Teile On-Premise. Man kann etwa nur ein datenschutzsicheres LLM selbst betreiben”, erklärt der Experte, der auch bei der Wahl der genutzten Modelle einen hybriden Ansatz empfiehlt: “Man braucht nicht für alle Use Cases das neueste Modell. Manchmal braucht man überhaupt kein LLM.”
Datenschutz: Einige Herausforderungen bei LLMs
Stichwort: Datenschutz. Hier schafft die europäische Datenschutzgrundverordnung (DSGVO) im KI-Bereich besondere Herausforderungen, weiß Natalie Ségur-Cabanac, die vorab betont: “Ich persönlich halte die DSGVO für ein gutes Regulierungswerk, weil sie sehr viel Spielraum gibt. Ich sage immer: Datenschutz ist sehr komplex, aber nicht kompliziert.” Konkret seien etwa der Grundsatz der Zweckbezogenheit, also dass man Daten nur für konkrete Zwecke einsetzen darf, und dass man sie minimierend einsetzen muss, relevant für den KI-Bereich. “Da haben wir schon einen Konflikt, weil man ja [bei LLMs] erst einmal schaut, was man aus möglichst vielen Daten machen kann”, so die Expertin.
Ist KI rechtlich innerhalb der EU sogar per se in einem Graubereich?
Auch Transparenzbestimmungen – sowohl in der DSGVO als auch im AI-Act der EU – seien zu beachten. “Wenn ich KI verwende, muss ich auch wissen, was drinnen ist”, fasst Ségur-Cabanac zusammen. Ist KI also rechtlich innerhalb der EU sogar per se in einem Graubereich? “Nein, das glaube ich nicht. Aber man muss seine Hausaufgaben schon gut machen”, sagt die Expertin. Wichtig sei daher auch die im Rahmen des EU-AI-Acts eingeforderte KI-Kompetenz in Unternehmen – im technischen und rechtlichen Bereich.
KI-Kompetenz als zentrales Thema
Patrick Ratheiser stimmt zu: “Neben der Technologie selber sind bei unseren Kunden die Mitarbeiter ein Riesen-Thema. Man muss sie nicht nur wegen dem AI-Act fit bekommen, sondern es geht darum, sie wirklich auf die Anwendungen einzuschulen.” Wichtig seien dabei auch die Kolleg:innen, die sich bereits mit dem Thema auskennen – die “Pioniere” im Unternehmen. “AI Literacy ist sicherlich das Thema 2025 und in nächster Zeit. So, wie wir gelernt haben, mit dem Smartphone umzugehen, werden wir es auch mit generativer KI lernen”, so Ratheiser.
“Einfach einmal ausprobieren”
Stephan Kraft ergänzt: Neben einer soliden Datenbasis und der notwendigen Kompetenz brauche es bei KI – gerade auch im Bereich Open Source – noch etwas: “Einfach einmal ausprobieren. Es braucht auch Trial and Error. Das ist vielleicht oft das Schwierigste für CFOs und Geschäftsführer.” Dieses Ausprobieren sollte aber innerhalb eines festgelegten Rahmens passieren, damit die KI-Implementierung gelingt, meint Natalie Ségur-Cabanac: “Unternehmen brauchen eine KI-Strategie und müssen wissen, was sie mit der Technologie erreichen wollen.” Auch sich mit den zuvor angesprochenen rechtlichen Anforderungen – Stichwort Compliance – zu beschäftigen, komme zeitlich erst nach der Festlegung der Strategie.
Open Source und KI: “Es geht nicht darum, zu den Guten zu gehören”
Nachlese. Die Nutzung von Open-Source-Modellen eröffnet Unternehmen auch im KI-Bereich weitreichende Möglichkeiten. Es gibt dabei aber auch einiges zu bedenken. Darüber und mehr diskutierten in Folge 5 von "No Hype KI" Stephan Kraft von Red Hat, Florian Böttcher von CANCOM Austria, Natalie Ségur-Cabanac von Women in AI und Patrick Ratheiser von Leftshift.One.
Open Source und KI: “Es geht nicht darum, zu den Guten zu gehören”
Nachlese. Die Nutzung von Open-Source-Modellen eröffnet Unternehmen auch im KI-Bereich weitreichende Möglichkeiten. Es gibt dabei aber auch einiges zu bedenken. Darüber und mehr diskutierten in Folge 5 von "No Hype KI" Stephan Kraft von Red Hat, Florian Böttcher von CANCOM Austria, Natalie Ségur-Cabanac von Women in AI und Patrick Ratheiser von Leftshift.One.
Kollaborativ, transparent, frei zugänglich und nicht profit-orientiert – mit Open-Source-Software wird eine Reihe von Eigenschaften assoziiert. Und oftmals stehen bei der Nutzung ethische Überlegungen im Zentrum. Dabei gibt es auch ganz praktische Gründe, die für eine Verwendung durch Unternehmen sprechen – auch bei der Implementierung von KI-Anwendungen, ist Stephan Kraft, Community Advocate & Business Development OpenShift & Application Services bei Red Hat, überzeugt. In Folge fünf der Serie “No Hype KI” diskutierte er dieses und weitere Themen mit Florian Böttcher, Solution Architect bei CANCOM Austria, Natalie Ségur-Cabanac, Policy Lead bei Women in AI und Patrick Ratheiser, Gründer & CEO von Leftshift.One.
“Thema ein Stück weit aus dieser emotionalen, moralisierenden Ecke herausholen”
“Ich will das Thema ein Stück weit aus dieser emotionalen, moralisierenden Ecke herausholen”, sagt Stephan Kraft. Für Red Hat als weltweit führenden Anbieter für Open-Source-Lösungen für Unternehmen gehen die Argumente für eine Nutzung nämlich weit darüber hinaus. “Es geht nicht darum, Open Source als Selbstzweck zu sehen, um zu den Guten zu gehören”, so der Experte. Tatsächlich sei die Verwendung von Open Source gerade bei der Etablierung von KI im Unternehmen für Startups und KMU eine wichtige Weichenstellung.
Offenheit, um Diskriminierung entgegenzuwirken
Auch Natalie Ségur-Cabanac sieht Open Source als “Key Technology” im KI-Bereich. Für “Women in AI” spiele die Offenheit eine zentrale Rolle: “Diese Offenheit braucht es, um Diskriminierung entgegenzuwirken.” Open Source verbessere den Zugang für Frauen zur Technologie, die Abbildung von Frauen in den Daten und es vergrößere die Möglichkeiten in der Forschung. Man müsse aber auch aufpassen, ob Software wirklich so offen sei, wie behauptet, sagt sie bezogen auf die aktuellen Diskussionen rund um OpenAI, das sich – ursprünglich als offenes Projekt gestartet – zum profitorientierten Unternehmen entwickelte. Es brauche auch eine klare Definition, was “open” sei.
Masse an Möglichkeiten
Leftshift.One-Gründer Patrick Ratheiser betont auch die schiere Masse an Möglichkeiten, die Open Source bietet. “2021 hatten wir weltweit Zugriff auf circa 5.000 Open-Source-Modelle. Jetzt sind es bereits mehr als eine Million.” Die Nutzbarkeit sei also klar gegeben, zudem biete die Technologie eine gewisse Unabhängigkeit und werde über ihre Vielfalt zum Innovationstreiber.
Ist Open Source immer die beste Lösung?
Doch bedeutet das, dass Open Source immer die optimale Lösung ist? Ratheiser sieht das differenziert: “Es ist ganz wichtig zu erkennen, was der Kunde braucht und was in dem Fall gerade notwendig ist. Egal, ob es nun On-Premise, in der Cloud, Open Source oder Closed Source ist.” Florian Böttcher von CANCOM Austria pflichtet hier bei: “Wir setzen genau so auf hybrid.”
Datenstruktur im Hintergrund ist entscheidend
Ein Thema, bei dem bei Open Source Vorsicht geboten ist, spricht Natalie Ségur-Cabanac an. Besonders wichtig sei es bei KI-Anwendungen, eine gute Datenstruktur im Hintergrund zu haben. “Die Verantwortung, dass ein Modell mit sauberen Daten trainiert worden ist, liegt bei den Anbietern. Bei Open Source verschwimmt das ein bisschen. Wer ist wofür zuständig? Das ist eine Herausforderung für die Compliance zu schauen, wo man selbst verantwortlich ist und wo man sich auf einen Anbieter verlassen kann.”
Compliance: Großes Thema – mehr Sichereheit mit professioneller Unterstützung
Stephan Kraft hakt hier ein. Genau aus solchen Gründen gebe es Unternehmen wie Red Hat, die mit ihrem Enterprise-Support für Open-Source-Lösungen die Qualitätssicherung auch im rechtlichen Bereich übernehmen. “Das ist ein ganz wichtiger Teil unseres Versprechens gegenüber Kunden”, so Kraft. Unbedacht im Unternehmen mit Open Source zu arbeiten, könne dagegen in “Compliance-Fallen” führen, pflichtet er Ségur-Cabanac bei.
Das sieht auch Patrick Ratheiser als Thema bei Leftshift.One: “Unsere Lösung ist Closed Source, wir setzen aber im Hintergrund Open Source ein. Wichtig ist, dass wir dem Kunden Compliance garantieren können.” Stephan Kraft empfiehlt Unternehmen bei der Open-Source-Nutzung: “Man kann nicht immer gleich die neueste ‘bleeding edge’-Lösung nehmen sondern sollte etwas konservativer herangehen.”
Infrastruktur: Gut planen, was man wirklich braucht
Unabhängig davon, ob man nun Open Source oder Closed Source nutzt, braucht es für die Nutzung von KI die richtige Infrastruktur. “Es kommt natürlich auf den Use Case an, den ein Unternehmen umsetzen will. Da sind die Anforderungen an die Infrastruktur sehr unterschiedlich”, grenzt Florian Böttcher ein. CANCOM Austria unterstützt seine Kunden in genau der Frage. Anwendungen wie das Training von KI-Modellen würde aus gutem Grund kaum in Österreich umgesetzt. “KI ist sehr stromhungrig und entwickelt viel Hitze. Das ist schwierig für ein eigenes Data-Center im Unternehmen, gerade wenn man die Strompreise in Österreich ansieht”, so Böttcher.
“Rechenleistungs-Hunger” von KI könnte sich in Zukunft verringern
Wichtig sei es letztlich, sich als Unternehmen sehr klar darüber zu sein, was man umsetzen wolle. “Danach, welche Software-Lösung man für seinen Use Case einsetzen muss, richtet sich auch die Infrastruktur”, so Böttcher. Er erwarte aber auch, dass die KI-Modelle im nächsten Entwicklungsschritt effizienter werden und der “Rechenleistungs-Hunger” sich verringere.
Patrick Ratheiser ergänzt: “Es ist grundsätzlich eine Kostenfrage.” Unternehmen müssten sich sehr gut überlegen, ob sie ein eigenes LLM (Large Language Model) betreiben und dieses sogar selbst trainieren wollen, oder lieber doch eine Usage-basierte Lösung wählen. Er sehe bei österreichischen Unternehmen – auch bei größeren – eine klare Tendenz zur zweiten Variante. “Es lässt sich deutlich schneller einrichten, ist kalkulierbarer und auch viel schneller skalierbar”, erklärt Ratheiser.
Etwa im Forschungsbereich sei es jedoch wichtig und notwendig, auch eigene LLMs und die damit verbundene Infrastruktur zu betreiben. Doch auch die Möglichkeit von hybriden Lösungen biete sich an. “Man kann mittlerweile auch Teile in der Cloud lassen und Teile On-Premise. Man kann etwa nur ein datenschutzsicheres LLM selbst betreiben”, erklärt der Experte, der auch bei der Wahl der genutzten Modelle einen hybriden Ansatz empfiehlt: “Man braucht nicht für alle Use Cases das neueste Modell. Manchmal braucht man überhaupt kein LLM.”
Datenschutz: Einige Herausforderungen bei LLMs
Stichwort: Datenschutz. Hier schafft die europäische Datenschutzgrundverordnung (DSGVO) im KI-Bereich besondere Herausforderungen, weiß Natalie Ségur-Cabanac, die vorab betont: “Ich persönlich halte die DSGVO für ein gutes Regulierungswerk, weil sie sehr viel Spielraum gibt. Ich sage immer: Datenschutz ist sehr komplex, aber nicht kompliziert.” Konkret seien etwa der Grundsatz der Zweckbezogenheit, also dass man Daten nur für konkrete Zwecke einsetzen darf, und dass man sie minimierend einsetzen muss, relevant für den KI-Bereich. “Da haben wir schon einen Konflikt, weil man ja [bei LLMs] erst einmal schaut, was man aus möglichst vielen Daten machen kann”, so die Expertin.
Ist KI rechtlich innerhalb der EU sogar per se in einem Graubereich?
Auch Transparenzbestimmungen – sowohl in der DSGVO als auch im AI-Act der EU – seien zu beachten. “Wenn ich KI verwende, muss ich auch wissen, was drinnen ist”, fasst Ségur-Cabanac zusammen. Ist KI also rechtlich innerhalb der EU sogar per se in einem Graubereich? “Nein, das glaube ich nicht. Aber man muss seine Hausaufgaben schon gut machen”, sagt die Expertin. Wichtig sei daher auch die im Rahmen des EU-AI-Acts eingeforderte KI-Kompetenz in Unternehmen – im technischen und rechtlichen Bereich.
KI-Kompetenz als zentrales Thema
Patrick Ratheiser stimmt zu: “Neben der Technologie selber sind bei unseren Kunden die Mitarbeiter ein Riesen-Thema. Man muss sie nicht nur wegen dem AI-Act fit bekommen, sondern es geht darum, sie wirklich auf die Anwendungen einzuschulen.” Wichtig seien dabei auch die Kolleg:innen, die sich bereits mit dem Thema auskennen – die “Pioniere” im Unternehmen. “AI Literacy ist sicherlich das Thema 2025 und in nächster Zeit. So, wie wir gelernt haben, mit dem Smartphone umzugehen, werden wir es auch mit generativer KI lernen”, so Ratheiser.
“Einfach einmal ausprobieren”
Stephan Kraft ergänzt: Neben einer soliden Datenbasis und der notwendigen Kompetenz brauche es bei KI – gerade auch im Bereich Open Source – noch etwas: “Einfach einmal ausprobieren. Es braucht auch Trial and Error. Das ist vielleicht oft das Schwierigste für CFOs und Geschäftsführer.” Dieses Ausprobieren sollte aber innerhalb eines festgelegten Rahmens passieren, damit die KI-Implementierung gelingt, meint Natalie Ségur-Cabanac: “Unternehmen brauchen eine KI-Strategie und müssen wissen, was sie mit der Technologie erreichen wollen.” Auch sich mit den zuvor angesprochenen rechtlichen Anforderungen – Stichwort Compliance – zu beschäftigen, komme zeitlich erst nach der Festlegung der Strategie.
Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.
