Der Name klingt sehr österreichisch und er ist es auch: KARLI ist die Linzer Antwort auf den vieldiskutierten KI-Chatbot ChatGPT von OpenAI. Zumindest sieht man das beim dahinter stehenden Startup FiveSquare so. Mit dem „Large Language Model as a Service“ richtet man sich ausschließlich an B2B-Kunden und will als in Österreich gehostete Lösung vor allem mit Datensicherheit punkten.

„Massive Sicherheitsrisiken“ bei ChatGPT und Bard

Denn FiveSquare ortet „massive Sicherheitsrisiken“ bei OpenAIs ChatGPT und Googles Bard. „Die wichtigsten Punkte aus dem Strategiemeeting zusammen fassen lassen – na klar, wenn ich damit einverstanden bin, dass die Umsatzzahlen des Unternehmens bei einer Tech-Firma in den USA landen und dort gespeichert und verwendet werden. Und das auch noch zusammen mit meinem Profil und den dazugehörigen Daten“, lässt CEO Hans Peter Pichler in einer Aussendung zitieren.

Verschiedene Sprachmodelle von Drittanbietern hinter KARLI

FiveSquare hat für KARLI allerdings kein eigenes AI-Sprachmodell entwickelt, sondern setzt auf bestehende Sprachmodelle von Drittanbietern. „Wir verwenden verschiedene Open-Source Modelle, welche wir gezielt weiterentwickelt und finegetuned haben. Durch eine spezielle Architektur können wir mehrere Modelle effizient zusammenführen, um so die Performance noch zusätzlich zu verbessern“, heißt es auf Anfrage des brutkasten vom Startup. Man nutze unter anderem das Modell Pythia von EleutherAI. als ein Teil unserer Modellarchitektur. Man wolle immer die neuesten Entwicklungen integrieren. „Speziell auch, wenn das AustroGPT von Sepp Hochreiter publiziert wird, möchten wir dies natürlich ebenfalls in KARLI integrieren“.

So will FiveSquare die erhöhte Sicherheit gewährleisten

Die genannte Sicherheit will FiveSquare auf mehreren Wegen gewährleisten: So läuft KARLI ausschließlich auf österreichischer, vom Startup gehosteter Serverinfrastruktur. „Dadurch ist unser System zu keinem Zeitpunkt von z.B. dem Cloud-Act aus Amerika betroffen und die Rohdaten befinden sich nur während der Berechnung auf unserer Infrastruktur. Danach, wenn diese nicht mehr benötigt werden, werden diese sofort unwiederbringlich gelöscht“, heißt es gegenüber dem brutkasten.

„Nicht einmal wir können auf diese Informationen zugreifen“

Zudem werden sensible Daten, die durch das Weitertrainieren in das Sprachmodell gelangen, nur für den einen Kunden spezifisch und verschlüsselt bereitgestellt. „Dafür haben wir zusätzlich eigene Techniken entwickelt, um zu jedem Zeitpunkt eine klare und sichere Trennung möglicher vorhandener Daten zu gewährleisten und diese so sicher zu behandeln, wie nur technisch möglich“, so FiveSquare. Dadurch bekomme ausschließlich der Kunde Zugriff auf die im Modell befindlichen Daten – „niemand anderes, nicht einmal wir, können auf diese Informationen zugreifen“.

Zweites FiveSquare-Produkt in ganz anderem Bereich

Der Preis für die Kunden richte sich dann nach der Größe des bereitgestellten Modells und dem Aufwand für das Startup – je nach Individualisierungsbedarf des Unternehmens. KARLI ist aber übrigens nicht das einzige Produkt von FiveSquare. Mit „EPILESPIA“ hat das Linzer Startup auch ein Produkt im MedTech-Bereich: ein Wearable zur Früherkennung epileptischer Anfälle.