Ob E-Mails, vertrauliche Kunden-Dokumente oder interne Richtlinien: Viele österreichische Unternehmen haben verstanden, dass der Einsatz von künstlicher Intelligenz unausweichlich wird, stehen allerdings vor der Herausforderung, KI sicher in die eigenen Arbeitsabläufe zu integrieren. Bei den Stadtwerken Klagenfurt entschied man sich bewusst gegen Standard-Lizenzen externer US-Hyperscaler und entwickelte stattdessen eine maßgeschneiderte Inhouse-Lösung: den „Stadtwerke GPT“, auch liebevoll „Susi-Sorglos“ genannt.

Die Vision: Ein DSGVO-konformer „Büro-Buddy“

Das Hauptziel war von Beginn an klar definiert: eine sichere Umgebung zu schaffen, in der Mitarbeiter:innen Bedenken bezüglich des Datenschutzes komplett ausräumen können. „Wir wollten unseren Mitarbeitern einen souveränen, DSGVO-konformen Chatbot anbieten, den sie komplett bedenkenlos nutzen können, wo sie personenbezogene Daten von Kunden reinkopieren und vertrauliche Dokumente hochladen können“, erklärt Peter Weratschnig, IT-Bereichsleiter der Stadtwerke Klagenfurt.

Neben der Chatbot-Funktion dient die KI als intelligenter „Büro-Buddy“. Über ein Retrieval-Augmented-Generation-System (RAG) wurden ca. 2.000 Seiten an internen Dokumenten, von Konzernrichtlinien bis hin zu IT-Anleitungen, eingebunden, um Fragen zu regulatorischen Vorgaben oder Systembedienungen direkt zu beantworten.

Der Gamechanger: Die Austria Wirtschaftsservice (aws)-Förderung

Das Projekt hat man nicht alleine umgesetzt, sondern entstand durch den Kontakt mit dem Wiener KI-Startup BReact, das 2022 von Raphael Fakhir und Nemanja Klincov gegründet wurde. Der entscheidende Impuls für die Realisierung lag in der Förderlandschaft. Denn das finanzielle Gesamtinvestment bewegte sich im fast sechsstelligen Bereich, erklärte Weratschnig im Interview.

Hier kam die IÖB-Toolbox-Förderung der Austria Wirtschaftsservice (aws) als entscheidender Beschleuniger ins Spiel. „Ohne diese Förderung hätten wir es nicht gemacht“, betont Weratschnig rückblickend. Die Förderung reduzierte das finanzielle Risiko für die Stadtwerke entscheidend und machte den Weg frei für die gemeinsame Entwicklung mit dem Startup.

Das Förderungsprogramm aws IÖB-Toolbox richtet sich an öffentliche Beschaffer und hat den Zweck, die Planung und Umsetzung von IÖB-Challenges als innovativem Instrument der Markterkundung, juristische und/oder technische Expertise für die Erstellung von Unterlagen für eine geplante Ausschreibung (Modul Prepare), sowie die Durchführung von innovativen Beschaffungen (Modul Transfer) zu ermöglichen. Damit sollen Anreize für eine verstärkte Innovationsnachfrage durch den öffentlichen Sektor gesetzt werden, insbesondere für Vorhaben mit positiven Beiträgen in den Bereichen Nachhaltigkeit und Digitalisierung.

Europäische KI-Architektur On-Premise

Auch technisch setzten die Partner auf digitale Souveränität: Als Sprachmodell dient ein Modell des französischen KI-Unternehmens Mistral, das Mitte des Jahres auch das Linzer Startup EmmiAI kaufte. Die Datenhaltung erfolgt laut Weratschnig ausschließlich On-Premise in eigenen IT-Systemen. Lediglich die reine GPU-Rechenleistung wird bei einem italienischen Anbieter angemietet. „Sobald das Modell nachdenkt, tut es das in dieser Infrastruktur ohne persistente Datenspeicherung. Danach sind keine Datenspuren außerhalb unseres IT-Systems zu finden“, erklärt der IT-Bereichsleiter. Das Resultat ist der angestrebte „Susi Sorglos“-Bot für den internen Arbeitsalltag.

Große Begehrlichkeiten & wertvolle Erkenntnisse

Nach der schrittweisen Bereitstellung als internes Web-Service stieß das Tool auf enormes Interesse in den Fachbereichen. Neben Fachfragen zu Richtlinien entstehen bereits Ideen für eigene Teil-Wissensdatenbanken oder interaktive Schulungsassistenten.

Gleichzeitig liefert das Projekt wertvolle Erkenntnisse für künftige KI-Initiativen. „Der Benefit aus unseren Lessons Learned ist fast ebenso hoch einzustufen wie das Tool an sich“, fasst Weratschnig zusammen. Seine zentralen Ratschläge an andere Unternehmen: Von Beginn an die eigene IT-Architektur und Lieferkette der Dienstleister genau prüfen sowie die Qualität der zugrundeliegenden Analog-Dokumente gründlich analysieren.

Disclaimer: Dieser Artikel ist im Rahmen einer Medienbeauftragung mit der Austria Wirtschaftsservice (aws) entstanden.