Mit GPT-4 hat OpenAI einen intelligenten Chatbot eingeführt, der weltweit für großes Aufsehen gesorgt hat. Es handelt sich dabei um die sogenannte GenAI (aus dem Englischen “generative artificial intelligence”) oder generative KI, die aus automatisierter Sprachverarbeitung und Antwortgenerierung besteht. Diese Technologie hilft bei vielen Projekten in der realen Welt und vor allem in den Bereichen Kundenservice, Marketing und Sales, Softwareentwicklung und Forschung.

Damit eröffnet generative KI Unternehmen bahnbrechende Möglichkeiten. Dazu gehört auch die Integration mit Daten-Streaming, d. h. dem Echtzeit-Datenfluss innerhalb von Organisationen, um echte, produktionsreife Anwendungen mit noch nie dagewesenen Fähigkeiten zu schaffen.

Von der Datenfabriken bis zum Echtzeit-Training von Sprachmodellen

Mit Event-Streaming können Unternehmen ihre internen Datenspeicher nahtlos mit GPT-4 verbinden. Dadurch kann das KI-System nicht nur präzise auf Kundenanfragen reagieren, sondern auch das Verhalten des Modells an spezifische Geschäftsanforderungen anpassen. Ermöglicht wird dies durch “Kontextfenster”, ein Prinzip, das es GPT-4 erlaubt, Informationen aus früheren Teilen eines Chats zu speichern und sein Verhalten entsprechend anzupassen, um relevante und maßgeschneiderte Antworten zu geben.

Daten-Streaming ist bereits die Grundlage vieler GenAI-Infrastrukturen und Softwareprodukte. Dabei sind sehr unterschiedliche Szenarien denkbar: Daten-Streaming als Datenfabrik für die gesamte ML-Infrastruktur, Pattern Scoring mit Stream-Processing für Echtzeit-Vorhersagen, Streaming Data Pipeline Generation mit Text- oder Spracheingabe oder sogar Echtzeit-Online-Training von großen Sprachmodellen.

Aktuelle Grenzen von Generativer KI in Echtzeit

Wie bei jeder Innovation gibt es auch hier Grenzen. Der Ansatz von generativer KI in Echtzeit bringt zwei große Herausforderungen mit sich:

Einerseits ist die Antwortgenerierung von GenAI-Infrastrukturen, die Daten-Streaming unterstützen, durch die Breite der Kontextfenster begrenzt. Wenn diese nicht breit genug sind, können nicht alle Prompts der Benutzer beantwortet werden. Die Aussichten sind jedoch positiv, da KI-Systeme ständig weiterentwickelt werden und Entwickler kontinuierlich daran arbeiten, die Breite der Kontextfenster zu erweitern. Mittel- bis langfristig wird diese Einschränkung daher eher nicht mehr bestehen.

Andererseits ist generative KI in Echtzeit anfällig für sogenannte “Prompt-Injektion-Attacken”, eine neue Art von Schwachstellen bei KI- und ML-Systemen (Machine Learning), hierbei werden widersprüchliche Prompts so aneinandergereiht, dass das System nicht mehr in der Lage ist, sie zu unterscheiden und angemessen darauf zu reagieren. Auf diese Weise können Angreifer Befehle in Datenfelder unter ihrer Kontrolle einfügen und die Maschine zu unerwarteten Aktionen zwingen. Obwohl Prompt-Injektion derzeit meist nur für positive Zwecke genutzt wird, gibt es Szenarien, in denen eine böswillige Manipulation der Antwort zur Umgehung von Einschränkungen oder als Fingerprinting-Technik zur Erkennung von Software, Netzwerkprotokollen, Betriebssystemen oder Hardware-Geräten im Netzwerk verwendet werden könnte.

Generative KI + Daten Streaming: Relevanz und Mehrwert für Unternehmen

Es ist also klar, dass noch erhebliche Fortschritte gemacht werden müssen, bis das Potenzial generativer KI voll ausgeschöpft wird. Es lässt sich jedoch jetzt schon sagen, dass sich sowohl die Streaming-Modelle als auch die großen Sprachmodelle gegenseitig in ihrer Entwicklung vorantreiben werden. Denn generative KI bringt nur dann einen Mehrwert, wenn sie genaue und aktuelle Einsichten liefert, und hier haben Echtzeitdaten eindeutig Vorrang vor “langsamen” Daten.

Über alle Branchen hinweg haben Early Adopter von generativer KI, die in Daten-Streaming-Technologien wie Apache Kafka und Apache Flink integriert ist, bereits bewiesen, dass diese Innovationeinen enormen Mehrwert für Unternehmen bietet.