27.03.2024
KI-HALLUZINATIONEN

DatAInsights-Founder erklären ihre Lösung gegen KI-Halluzinationen

Eine Lösung für ein KI-Problem, an dem Giganten wie Microsoft und Google bisher erfolglos arbeiten, kommt aus Wien. Die beiden Co-Founder René Heinzl und Markus Nissl erklären die Systematik hinter ihrer Idee.
/artikel/datainsights-founder-erklaeren-ihre-loesung-gegen-ki-halluzinationen
datainsights, KI, Halluzination, KI-Halluzinationen
(c) zVg - (v.l.) René Heinzl und Markus Nissl mit Co-Founder Emanuel Sallinger.

Manchmal bleibt Verwunderung zurück. Bei Nutzung von Künstlicher Intelligenz (KI) kann es passieren, dass man eine Frage stellt und falsche Antworten bekommt. Im Fachjargon sagt man dazu, die KI halluziniert. Passend dazu führte vorige Woche René Heinzl, Co-Founder von datAInsights, im brutkasten-Talk aus, wie das passiert, wieso Halluzinationen ein großes Problem in dem Bereich darstellen und warum auch Microsoft und Google keine zufriedenstellende Lösung dafür finden. Sein Wiener Startup hat indes einen anderen Weg zu dieser Problembewältigung eingeschlagen und stützt sich dabei auf explizite statt auf implizite Fakten. Er und CEO Markus Nissl erklären.

DatAInsights-Founder: „Kann zur Unschärfe kommen“

Large Language Models (LLMs), die als Basis für Künstliche Intelligenz dienen, sind wie eine Zeichenkette aufgebaut. Hier wirken Wahrscheinlichkeiten, die das nächste Zeichen (konkret das nächste Wort oder um noch genauer zu sein, die nächsten Buchstaben) produzieren und als Antworten auf Fragen liefern.

„Wenn als Beispiel Wien und Sehenswürdigkeiten in der Anfrage drinnen steht, hat die KI den Kontext ‚Wien‘ ein wenig verstanden“, sagt Nissl. „Sie weiß, es gibt Sehenswürdigkeiten in Wien, aber durch eine Unschärfe kann es dazu kommen, dass etwa Ergebnisse aus Salzburg ebenfalls ausgewiesen werden. Einfach weil es sich immer um eine Wahrscheinlichkeit handelt.“

Token-Prediction

Die aktuelle Technologie bei LLMs basiert in anderen Worten auf „Token-Prediction“, auf die das Modell zurückgreift, um die nächste Buchstabenfolge zu erstellen. Nissl erklärt das mit einem Beispiel, in dem man zwei unterschiedliche Leute darum bittet, einen Satz zu vervollständigen. „Jeder Mensch wird den Satz anders beenden“, sagt er. „Bei Firmendaten allerdings möchte ich nicht, dass eine falsche Zahl herauskommt, beim Umsatz oder dergleichen. Das war die Basis unserer Überlegung für unsere Lösung. Wir wollten echte Fakten, die nicht in Unschärfe geraten.“

DatAInsights mit explizitem Wissen

Die aktuellen Lösungen von u.a. Google oder Microsoft verwenden autoregressive Deep-Learning-Netzwerke, die stets das Problem haben, dass das nächste Wort falsch sein kann. Statt auf strukturiertes und globales Wissen zuzugreifen, extrahieren und nutzen diese Modelle implizites Wissen direkt aus den Daten, mit denen sie trainiert wurden.

„Die sind abgespeichert“, erklärt Heinzl. „Aber du musst sehr viel Text heranziehen und das LLM solange trainieren, bis es sie sich merkt. Da kann es passieren, das anderes wichtiger scheint. Wir hingegen verwenden explizite Fakten bzw. explizites Wissen, das dokumentiert ist. Da gibt es kein ‚falsch oder richtig‘. Wir reichern bestehende Knowledge-Systeme mit Quellen an, sodass sie für unsere Architektur verarbeitet werden können.“

Investmentrunde noch vor dem Sommer?

Mit ihrer Lösung hat das KI-Startup in Österreich bereits für Aufsehen gesorgt und ist, wie die Founder erklären, unter Investor:innen gefragt. Man merke, dass man den großen Playern bei diesem Problem weit voraus sei.

In diesem Sinne gehört zu den nächsten Zielen von datAInsights eine kleine Investmentrunde bis zum Sommer aufzustellen, um das Produkt weiterzuentwickeln. Ende des Jahres soll eine größere Runde folgen.

Deine ungelesenen Artikel:
vor 24 Stunden

Q.ANT-Gründer Michael Förtsch: „Jede neue KI-Welle bietet Europa die Chance auf eigene Champions“

Das Stuttgarter Startup Q.ANT ist nach eigenen Angaben das weltweit einzige Unternehmen, das Prozessoren auf Basis von Photonic Computing ausliefert – gerechnet wird mit Licht statt Strom. Im Interview mit brutkasten spricht Gründer und CEO Michael Förtsch über Europas Chance im nächsten KI-Zyklus, die Schwächen des europäischen Venture-Capital-Markts und die Frage, wo Q.ANT an die Börse geht.
/artikel/q-ant-gruender-michael-foertsch-jede-neue-ki-welle-bietet-europa-die-chance-auf-eigene-champions
vor 24 Stunden

Q.ANT-Gründer Michael Förtsch: „Jede neue KI-Welle bietet Europa die Chance auf eigene Champions“

Das Stuttgarter Startup Q.ANT ist nach eigenen Angaben das weltweit einzige Unternehmen, das Prozessoren auf Basis von Photonic Computing ausliefert – gerechnet wird mit Licht statt Strom. Im Interview mit brutkasten spricht Gründer und CEO Michael Förtsch über Europas Chance im nächsten KI-Zyklus, die Schwächen des europäischen Venture-Capital-Markts und die Frage, wo Q.ANT an die Börse geht.
/artikel/q-ant-gruender-michael-foertsch-jede-neue-ki-welle-bietet-europa-die-chance-auf-eigene-champions
Q.ANT-Gründer und CEO Michael Förtsch beim World Venture Forum in Kitzbühel | (c) Martin Pacher / brutkasten

Photonic Computing gilt als eine der großen Wetten auf die nächste Generation der Recheninfrastruktur: Statt mit Strom wird mit Licht gerechnet – was drastisch weniger Energie verbraucht und in Zeiten explodierender KI-Rechenlast zum entscheidenden Faktor werden könnte.

Mit Q.ANT hat sich ein Stuttgarter Deep-Tech-Startup an die Spitze dieses Feldes gesetzt: Nach eigenen Angaben ist es weltweit das einzige Unternehmen, das photonische Prozessoren bereits in Rechenzentren ausliefert. Für Gründer und CEO Michael Förtsch ist die Technologie mehr als ein Effizienzversprechen. Sie ist für ihn eine der wenigen realistischen Chancen, mit denen Europa im nächsten KI-Zyklus doch noch eigene Champions hervorbringen kann. Getroffen haben wir Förtsch beim World Venture Forum in Kitzbühel.


brutkasten: Michael, für alle, die sich mit Photonic Computing noch nie beschäftigt haben – wo steht Q.ANT aktuell?

Michael Förtsch: Wir sind im Moment die einzige Firma weltweit, die Prozessoren basierend auf dieser Technologie liefern kann. Könnten wir heute die Stückzahlen eines Nvidia stemmen? Nein. Aber wir sind in kleineren Stückzahlen genau in den Rechenzentren verbaut, wo Nvidia in größeren Mengen installiert ist. Auf der Skala der Technology Readiness Levels würde ich uns zwischen sieben und acht eingruppieren – unsere Serversysteme kann man inzwischen per Cloud-Service buchen. Das funktioniert nicht nur im Labor unter zwangsbeatmeten Konditionen, sondern im regulären Rechenbetrieb als Co-Processing-Unit im Rechenzentrum. Was uns noch fehlt, um zu den ganz Großen aufzuschließen, ist die Produktionsfähigkeit. Das werden wir nicht alleine hinkriegen, sondern mit Partnern aus der Halbleiterindustrie.

Mit den ganz Großen meinst du Nvidia – oder auch Lightmatter aus den USA?

Lightmatter ist kein Competitor. Wenn man Photonik und Computing zusammenbringt, gibt es zwei Strömungen. Die erste ist das Interconnect-Thema: Da geht es nur darum, Licht zu nutzen, um Datenpakete schneller an den klassischen Prozessor heranzubringen – die sogenannten Co-Packaged Optics. Dort ist Lightmatter unterwegs, genauso Ayar Labs oder Intel. Der zweite Bereich ist der Prozessor-Markt: Da wird mit Licht statt Strom tatsächlich gerechnet. Wir waren 2024 weltweit die Ersten, denen es gelungen ist, einen Prozessor aufzubauen, der wirklich rechnen konnte – und diese Führungsposition haben wir bis heute gehalten. Wir führen das Feld im photonischen Computingbereich an, nicht im Datentransport.

Ihr challengt also Nvidia?

Nuanciert betrachtet: Ich sehe nicht, dass wir die Grafikkarte ergänzen. Stell dir den Computer als Fuhrpark vor. Die Host-CPU ist der VW Passat – das universellste Teil im Stack, kann alles, aber nichts besonders schnell. Die GPU ist der Viertelmeilen-Dragster: Sie kann genau eine Rechenoperation brutal gut, die Vektor-Matrix-Multiplikation, mehr nicht. Wir sind das Formel-1-Auto. Wir beherrschen deutlich mehr Befehle als die GPU – auch hochkomplexe mathematische Zusammenhänge in einem Takt. Mit uns solltest du nicht zum Bäcker fahren, aber am Nürburgring sind wir die Schnellsten. Und der Quantencomputer ist das Boot: Der fährt gar nicht auf der Straße.

Ihr steht bereits in Rechenzentren. Was heißt das konkret für die Effizienz?

Das schönste Beispiel ist das Hochleistungsrechenzentrum in München. Dort stehen unsere Server direkt neben denen von Nvidia. Vor deren Grafikkarten-Rechenschrank herrschen sechzig Grad Innentemperatur – so viel Hitze entsteht da drin. Bei uns stehst du davor und es ist kühl. Da laufen keine Wasserleitungen zum Kühlen rein, du siehst einfach nur Server, die rechnen. Man erlebt die Effizienz physisch. Und wir haben in den letzten drei Jahren gezeigt, dass wir von Prozessorgeneration zu Prozessorgeneration hundertmal schneller geworden sind – das entspricht zehn Jahren Digitalindustrie pro Jahr. Nächstes Jahr werden wir in bestimmten Anwendungen den State of the Art der Digitalindustrie überholt haben.

Welche Anwendungen sind das?

Erstens Bilderkennung: Wie viele Bilder identifizierst du korrekt pro Sekunde – und wie viel Strom hat es gekostet? Ob Robotics oder Autonomous Driving, überall werden Bilddaten verarbeitet. Zweitens Next-Level-LLMs. Der weltweite Strombedarf von LLMs wird bald so groß sein wie der von Japan; skaliert man das weiter, wären wir 2035 beim weltweiten Energiebedarf. Das wird nicht funktionieren. Es braucht die Revolution in der Revolution – Ende des Jahres zeigen wir, wie wir uns das vorstellen. Und drittens Physical AI: Wenn du einen Roboter mit KI versorgen willst, willst du ihm keinen seitenlangen Text geben, sondern das Problem auf Signalebene beschreiben – so wie wir Menschen. Da werden wir als einer der heißesten Kandidaten für den effizienten Einstieg gehandelt.

Das Rennen um generative KI hat Europa gegen die USA verloren. Ist Physical AI das Feld, wo Europa noch mitspielen kann?

Alle haben Sorge, wir hätten im KI-Zeitalter alles verloren. Aber jede neue KI-Welle bietet Europa die Chance auf eigene Champions. Nur weil OpenAI und Anthropic heute gut sind, heißt das nicht, dass sie die nächste Welle automatisch gewonnen haben. Wir haben jüngst gemeinsam mit NXAI, dem österreichischen Startup von Sepp Hochreiter, ein erstes TiRex-Modell auf unserer photonischen Hardware gezeigt. Wir haben Hochreiter und Björn Ommer, die mit Time Series Prediction und Diffusion Models Weltstandards gesetzt haben. Wir haben Mistral, Aleph Alpha, Black Forest Labs, wir haben Q.ANT – Europa hat eigentlich alles in der Hand, um vom Prozessor bis zum KI-Modell alles zu machen. Man muss nur sagen: Wir investieren jetzt eher in der Kategorie zehn Milliarden in dieses Ökosystem, um wirklich einen großen Schuss zu landen. Während die Amerikaner Milliardenbeträge in ihre AI Factories gesteckt haben, hieß es bei uns: Fünfhundert Millionen sind schon ein Haufen Geld. Wenn deine Kapitalisierung um Faktoren unterschiedlich ist, hast du keine Chance in dem Rennen.

Fehlt das Kapital in Europa?

Das Kapital ist da – der Mut muss kommen. Venture Capital ist kein High-Risk-Gambling, sondern hochstrategisches Investment in die innovative Zukunft dieser Region. Was Europa nicht verstanden hat, ist die Geschwindigkeit. Bei einem großen US-VC liegen zwischen Erstgespräch und Datenraumzugang zwei Wochen. Wir haben in den USA ungelogen null Pitchdeck gebraucht: Fünfzeiler per E-Mail, dann sitzt dir jemand gegenüber, der brutaler Experte ist, selbst schon zwei Firmen im Halbleiterbereich groß gemacht hat und dich im Erstgespräch technologisch grillt. In drei, vier Wochen redet man über ein Termsheet. In Europa ist man dagegen oft sehr Governance-getragen: Der Erste hat keine Entscheidungsbefugnis, dann entscheidet ein Board, das gar nicht weiß, worum es geht.

Trotzdem habt ihr fast ausschließlich europäische Investoren – untypisch für Deep Tech.

Genau das ist ein Signal für ein Wiedererwachen Europas. Wir haben international gesucht und international Zuspruch bekommen. IMEC, Xpand, Cherry Ventures, UVC und Venionaire waren wirklich schnell und gut und so haben wir die Series A in Europa zusammenbekommen – mit der nötigen Geschwindigkeit und dem technologischen Zutrauen. Europa hat äquivalente Optionen geboten wie die USA, also blieb ich in Europa. Aber eben nicht im Selbstaufgabemodus, sondern nur, weil Europa die besten Konditionen geboten hat.

Wie sieht die weitere Roadmap aus – kauft euch irgendwann Nvidia?

Ich habe die Firma gegründet, um sie an die Börse zu führen und einen neuen Weltmarktführer in der Prozessortechnologie zu bauen. Einen Verkauf schließe ich nicht kategorisch aus – als Gründer muss man in Varianten denken. Aber das Ziel ist: ein, zwei Finanzierungsrunden, dann ein IPO zum richtigen Zeitpunkt. Mein Wunsch ist, dass diese Firma ihr Headquarter in Europa hat und in Europa gelistet ist. Aber immer mit wirtschaftlichem Rational: Warum soll ich Geld aus patriotischen Gründen liegen lassen? Aktuell ist die Valuation bei einem europäischen IPO gerade im Deep-Tech-Bereich nicht so gut wie in den USA. Gleichzeitig erlebe ich, dass Europa aufwacht – es fängt an, seine eigene Technologiegeschichte wieder schreiben zu wollen. Bis zum Ende der Dekade soll Photonic Computing jedenfalls ein ganz normaler, integraler Bestandteil des Compute Stacks sein – wie die Grafikkarte heute.

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

DatAInsights-Founder erklären ihre Lösung gegen KI-Halluzinationen

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

DatAInsights-Founder erklären ihre Lösung gegen KI-Halluzinationen

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

DatAInsights-Founder erklären ihre Lösung gegen KI-Halluzinationen

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

DatAInsights-Founder erklären ihre Lösung gegen KI-Halluzinationen

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

DatAInsights-Founder erklären ihre Lösung gegen KI-Halluzinationen

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

DatAInsights-Founder erklären ihre Lösung gegen KI-Halluzinationen

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

DatAInsights-Founder erklären ihre Lösung gegen KI-Halluzinationen

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

DatAInsights-Founder erklären ihre Lösung gegen KI-Halluzinationen

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

DatAInsights-Founder erklären ihre Lösung gegen KI-Halluzinationen