Generative KI in Echtzeit: Neue Geschäftspotenziale durch Integration von GPT und Daten-Streaming
Gastbeitrag. Michael Drogalis, Principal Technologist bei Confluent, erklärt die Möglichkeiten von generativer KI für Unternehmen. Wie zum Beispiel beim Echtzeit-Datenfluss.
Mit GPT-4 hat OpenAI einen intelligenten Chatbot eingeführt, der weltweit für großes Aufsehen gesorgt hat. Es handelt sich dabei um die sogenannte GenAI (aus dem Englischen „generative artificial intelligence“) oder generative KI, die aus automatisierter Sprachverarbeitung und Antwortgenerierung besteht. Diese Technologie hilft bei vielen Projekten in der realen Welt und vor allem in den Bereichen Kundenservice, Marketing und Sales, Softwareentwicklung und Forschung.
Damit eröffnet generative KI Unternehmen bahnbrechende Möglichkeiten. Dazu gehört auch die Integration mit Daten-Streaming, d. h. dem Echtzeit-Datenfluss innerhalb von Organisationen, um echte, produktionsreife Anwendungen mit noch nie dagewesenen Fähigkeiten zu schaffen.
Von der Datenfabriken bis zum Echtzeit-Training von Sprachmodellen
Mit Event-Streaming können Unternehmen ihre internen Datenspeicher nahtlos mit GPT-4 verbinden. Dadurch kann das KI-System nicht nur präzise auf Kundenanfragen reagieren, sondern auch das Verhalten des Modells an spezifische Geschäftsanforderungen anpassen. Ermöglicht wird dies durch „Kontextfenster“, ein Prinzip, das es GPT-4 erlaubt, Informationen aus früheren Teilen eines Chats zu speichern und sein Verhalten entsprechend anzupassen, um relevante und maßgeschneiderte Antworten zu geben.
Daten-Streaming ist bereits die Grundlage vieler GenAI-Infrastrukturen und Softwareprodukte. Dabei sind sehr unterschiedliche Szenarien denkbar: Daten-Streaming als Datenfabrik für die gesamte ML-Infrastruktur, Pattern Scoring mit Stream-Processing für Echtzeit-Vorhersagen, Streaming Data Pipeline Generation mit Text- oder Spracheingabe oder sogar Echtzeit-Online-Training von großen Sprachmodellen.
Aktuelle Grenzen von Generativer KI in Echtzeit
Wie bei jeder Innovation gibt es auch hier Grenzen. Der Ansatz von generativer KI in Echtzeit bringt zwei große Herausforderungen mit sich:
Einerseits ist die Antwortgenerierung von GenAI-Infrastrukturen, die Daten-Streaming unterstützen, durch die Breite der Kontextfenster begrenzt. Wenn diese nicht breit genug sind, können nicht alle Prompts der Benutzer beantwortet werden. Die Aussichten sind jedoch positiv, da KI-Systeme ständig weiterentwickelt werden und Entwickler kontinuierlich daran arbeiten, die Breite der Kontextfenster zu erweitern. Mittel- bis langfristig wird diese Einschränkung daher eher nicht mehr bestehen.
Andererseits ist generative KI in Echtzeit anfällig für sogenannte „Prompt-Injektion-Attacken“, eine neue Art von Schwachstellen bei KI- und ML-Systemen (Machine Learning), hierbei werden widersprüchliche Prompts so aneinandergereiht, dass das System nicht mehr in der Lage ist, sie zu unterscheiden und angemessen darauf zu reagieren. Auf diese Weise können Angreifer Befehle in Datenfelder unter ihrer Kontrolle einfügen und die Maschine zu unerwarteten Aktionen zwingen. Obwohl Prompt-Injektion derzeit meist nur für positive Zwecke genutzt wird, gibt es Szenarien, in denen eine böswillige Manipulation der Antwort zur Umgehung von Einschränkungen oder als Fingerprinting-Technik zur Erkennung von Software, Netzwerkprotokollen, Betriebssystemen oder Hardware-Geräten im Netzwerk verwendet werden könnte.
Generative KI + Daten Streaming: Relevanz und Mehrwert für Unternehmen
Es ist also klar, dass noch erhebliche Fortschritte gemacht werden müssen, bis das Potenzial generativer KI voll ausgeschöpft wird. Es lässt sich jedoch jetzt schon sagen, dass sich sowohl die Streaming-Modelle als auch die großen Sprachmodelle gegenseitig in ihrer Entwicklung vorantreiben werden. Denn generative KI bringt nur dann einen Mehrwert, wenn sie genaue und aktuelle Einsichten liefert, und hier haben Echtzeitdaten eindeutig Vorrang vor „langsamen“ Daten.
Über alle Branchen hinweg haben Early Adopter von generativer KI, die in Daten-Streaming-Technologien wie Apache Kafka und Apache Flink integriert ist, bereits bewiesen, dass diese Innovationeinen enormen Mehrwert für Unternehmen bietet.
We Are Unicorns: Was österreichische KMU von Japan lernen können
Wie das Wiener Team von We Are Unicorns mit dem Future Radar und Partnern in Japan eine gemeinsame Sprache für Unternehmen auf zwei Kontinenten schafft – und warum ein japanischer Konzern, der seit 120 Jahren über Arbeit nachdenkt, genau darin eine Chance sieht.
We Are Unicorns: Was österreichische KMU von Japan lernen können
Wie das Wiener Team von We Are Unicorns mit dem Future Radar und Partnern in Japan eine gemeinsame Sprache für Unternehmen auf zwei Kontinenten schafft – und warum ein japanischer Konzern, der seit 120 Jahren über Arbeit nachdenkt, genau darin eine Chance sieht.
An einem Mittwochabend in Yokohama treffen einander Gründerinnen und Gründer, Corporate-Innovator:innen, Studierende und Investor:innen im Tech Hub Yokohama; kein Panel, keine Preisverleihung, sondern ein offener Community-Abend unter dem Namen Yokohama Connect. Wenige Wochen später sitzt in einem Wiener Coworking-Space ein Bäckereichef neben einer Innovationsmanagerin und dem Vertreter eines Tourismusbetriebs – auch sie sprechen über die Zukunft ihrer Organisationen. Am Ende beider Abende steht dieselbe Frage: Wie zukunftsfähig sind wir wirklich?
Ein Werkzeug gegen die Ziellosigkeit
Österreich und Japan sind auf den ersten Blick weit voneinander entfernt. Bei näherer Betrachtung eint sie aber ein Muster: hohe Ingenieurskompetenz, eine dichte Landschaft aus kleinen und mittleren Unternehmen, starke Familienbetriebe, daneben große Konzerne und Städte, die vor ähnlichen Fragen stehen. Wer heute ein Unternehmen führt, hat selten Zeit für Buzzwords – gefragt sind Werkzeuge, die aus abstrakten Trends nächste Schritte machen; und eine Sprache, die über Ländergrenzen hinweg funktioniert.
Genau hier setzt das Wiener Unternehmen We Are Unicorns (WAU) an. Die Gründer:innen Marie-Therese Barth und Florian Moosbeckhofer arbeiten seit rund sieben Jahren mit Betrieben an Zukunftsthemen, zuvor gemeinsam in der Wirtschaftskammer Österreich. Ihre Beobachtung: Viele KMU stehen mehrfach unter Druck – steigende Kosten, Energiewende, Fachkräftemangel und Digitalisierung verändern die Rahmenbedingungen, während im Alltag oft Zeit, Orientierung und leistbare Unterstützung fehlen. WAU versteht sich deshalb als „Innovationsabteilung as a Service“, die komplexe Zukunftsthemen in verständliche Handlungsfelder übersetzt und Betriebe bis zur Umsetzung begleitet.
Yokohama ist die zweitgrößte Stadt Japans | (c) Antomattei
Ihr zentrales Werkzeug ist das Future Radar. Es ordnet Zukunftsfähigkeit entlang von fünf Feldern: Menschen, Organisation und Kultur; digitale Prozesse, Automatisierung und KI; Kunden, Vertrieb und Services; Geschäftsmodelle und Plattformen; Energie, Kosten und Nachhaltigkeit. Daraus werden 55 konkrete Chancen statt tausend Schlagworte, entstanden in Co-Creation-Workshops mit KMU aus ganz Österreich sowie Partnern aus Universitäten und Forschung. Ein eigens entwickelter KI-Assistent ordnet die Themen ein und leitet nächste Schritte ab, die Betriebe eigenständig umsetzen können. Er ersetzt keine unternehmerische Entscheidung, sondern versteht sich als Sparringpartner, der ins Tun bringt.
Kommt das Future Radar in Yokohama auf den Tisch, betrachten alle Beteiligten dieselben fünf Felder, dieselben Fragen, dieselbe Auswertung. Ein japanisches KMU, ein Startup aus dem Tech Hub Yokohama und ein österreichischer Mittelständler sehen auf einen Blick, wo sie stark sind und welche Schritte sich ableiten lassen. Der Mehrwert entsteht im Vergleich.
Von Wien nach Yokohama
Warum aber der Blick nach Japan? Weil sich dort ein Ökosystem entwickelt hat, das als Referenz dienen kann. Rund um CIC Tokyo, Japans größten Startup-Campus, hat sich unter dem Dach von Venture Café Japan eine offene Innovationscommunity etabliert: wöchentliche Thursday Gatherings, Formate wie Yokohama Connect, Tsukuba Connéct oder Nagoya Connect, dazu Partner wie der Tech Hub Yokohama, der als Soft-Landing-Punkt für internationale Startups und KMU konzipiert ist. Dazu kommt die städtische Ebene: Der Midterm Plan der Stadt Yokohama verankert Nachhaltigkeit als Ziel bis 2029. Physische Orte, Community-Programme und Stadtstrategie greifen ineinander.
Wer dort sitzt und warum diese Unternehmen nach Europa schauen, zeigt Qubitcore: Das Unternehmen mit Sitz in Yokohama entwickelt Hardware für Quantencomputing, hervorgegangen aus der Forschung am Okinawa Institute of Science and Technology (OIST). Es verbindet mehrere Quantenprozessoren auf Basis von Ionenfallen über Licht miteinander und arbeitet so an fehlertoleranten Rechnern, die über die Grenzen eines einzelnen Prozessors hinaus skalieren.
„Das Quanteninternet entfaltet seinen vollen Wert erst durch grenzüberschreitende Vernetzung. Gerade Europa verfügt über große Tiefe in der Quantenoptik und in der Ionenfallenforschung. Wir hoffen, dass der Tech Hub Yokohama zur Brücke zwischen Yokohama und europäischen Forschungseinrichtungen, Unternehmen und Investoren wird“, so Ryuta Watanuki, Gründer und CEO von Qubitcore.
Der Tech Hub Yokohama. | (c) TechHub Yokohama
Damit solche Verbindungen tatsächlich entstehen, braucht es Brückenbauer. Auf japanischer Seite übernimmt Marcel Rasinger mit genten LLC diese Rolle: Als Mitinitiator von Yokohama Connéct verbindet er lokale Unternehmen, Startups und städtische Organisationen mit internationalen Partnern. Auf österreichischer Seite strukturiert WAU die Zukunftsthemen heimischer Betriebe so, dass sie in den Dialog mit japanischen Partnern passen.
Die Stimme aus Tokio
Warum diese Übersetzungsarbeit nötig ist, weiß Kentaro Imai aus eigener Erfahrung – er verantwortet beim japanischen Konzern Kokuyo die Global Marketing Division im Global Workplace Business und ist dort Ansprechpartner für Europa und Nordamerika. Kokuyo beschäftigt sich seit mehr als 120 Jahren damit, wie Menschen arbeiten und lernen, und nutzt die eigenen Büros seit den 1960er-Jahren als Versuchsflächen. „Ideen lassen sich nicht einfach von einem Land in ein anderes kopieren“, sagt Imai, „sie müssen übersetzt werden, nicht nur sprachlich, sondern kulturell und organisatorisch.“ Erwartungen an Hierarchie, Entscheidungsfindung und Risiko unterschieden sich. Imai: „Brückenbauer helfen beiden Seiten zu verstehen, welche menschlichen Bedürfnisse universell sind und welche Annahmen lokal geprägt.“
Dass Zusammenarbeit über Kontinente hinweg dabei mehr braucht als Videocalls, ist für Imai keine Frage: „Digitale Technologie erlaubt Kommunikation über enorme Distanzen – aber Kommunikation allein erzeugt nicht automatisch Vertrauen, Zugehörigkeit oder Zusammenarbeit.“ Innovation beginne oft mit Beobachtung, informellen Gesprächen und unerwarteten Begegnungen. Kokuyo hat deshalb Teile seiner Konzernzentrale The Campus in Tokio-Shinagawa für die Nachbarschaft geöffnet, samt Park, Shop und Coffee Stand. „Der innovativste Raum ist nicht zwangsläufig der technisch fortschrittlichste. Es ist jener, in dem Menschen, die einander sonst nie treffen würden, beginnen, gemeinsam etwas zu denken und zu bauen“, so Imai. Was The Campus für Tokio ist, soll der Tech Hub Yokohama für europäische Partner werden.
Für Imai ist das der Punkt, an dem Werkzeug und Erfahrung zusammenfinden könnten: „We Are Unicorns und das Future Radar machen abstrakte Veränderungen für KMU verständlich und helfen dabei, von weiten Schlagworten zu konkreten Chancen zu kommen.“ Kokuyo wiederum bringe Erfahrung darin ein, wie Menschen arbeiten, lernen und physische Umgebungen nutzen. „Gemeinsam könnte das Future Radar eine Chance identifizieren, und wir könnten helfen, sie in konkrete Arbeitsweisen, Umgebungen und Pilotprojekte zu übersetzen“, sagt Imai.
Tiefe trifft Tempo
Was können beide Seiten voneinander lernen? Imai warnt vor Klischees, sieht aber komplementäre Stärken: Japanische Organisationen zeigten im besten Fall langfristige Verbindlichkeit, hohe Aufmerksamkeit für Qualität, kontinuierliche, schrittweise Verbesserung und Geduld beim Aufbau von Vertrauen; österreichische und europäische Ökosysteme brächten direkte Auseinandersetzung, schnelles Experimentieren, starke Zusammenarbeit zwischen KMU, Startups und Universitäten und eine größere Bereitschaft, Entscheidungen trotz verbleibender Unsicherheit zu treffen. Imai: „Der produktivste Austausch ist nicht Japan gegen Österreich; es ist die Kombination aus japanischer Tiefe und österreichischer Agilität.“
Für WAU heißt das: Österreich kann von der langfristigen Ökosystem-Architektur Japans lernen, vom Zusammenspiel aus Infrastruktur, Community-Programmen und städtischer Strategie. Japan wiederum profitiert von der pragmatischen KMU-Kultur in Europa, von Betrieben, die mit wenigen Ressourcen neue Technologien testen und in überschaubaren Schritten starten.
Zurück nach Yokohama, an jenen Mittwochabend im Tech Hub: Was dort als offener Community-Abend beginnt, endet im besten Fall mit einem Projekt, das ein Wiener Betrieb und ein japanisches Startup gemeinsam angehen. Das Future Radar liefert die gemeinsame Ausgangslage, die Brückenbauer den Zugang. Oder, wie Imai es formuliert: „Die Zukunft ist nichts, worauf wir warten. Sie ist etwas, das wir greifbar machen, gemeinsam testen und durch Neugier laufend verbessern.“
Über We Are Unicorns
We Are Unicorns (WAU) macht Zukunftsarbeit für österreichische KMU konkret, leistbar und umsetzbar. Das Wiener Unternehmen von Marie-Therese Barth und Florian Moosbeckhofer realisiert als „Innovationsabteilung as a Service“ auch Projekte für Regionen, Institutionen und Corporates. Zentraler Baustein ist das Future Radar mit 55 konkreten Chancen entlang von fünf Zukunftsfeldern, ergänzt um einen eigens entwickelten KI-Assistenten. Der Anspruch: Zukunft ohne Blabla.
Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.
