Marius-Constantin Dinu hat seine Doktorarbeit bei KI-Koryphäe Sepp Hochreiter geschrieben und ist Co-Founder des oberösterreichischen Startups Extensity.ai. Im brutkasten-Talk erläutert Dinu, wie sich der vom Startup verwendete Ansatz der neurosymbolischen KI von den heute populären Herangehensweisen unterscheidet und diese ergänzt.
Er spricht außerdem über aktuell internationale Entwicklungen im KI-Bereich – von den OpenAI-Modellen o1 und o3 bis zu hin zu DeepSeek, dem OpenAI-Konkurrenten aus China, der mit seinen Open-Source-Modellen aktuell für Aufsehen sorgt.
Dinu erläutert im Talk, warum Open-Source-Modelle künstliche Intelligenz zwar demokratisieren, aber in der Praxis dennoch Qualitätsdefizite aufweisen. Außerdem gibt der Gründer seine Einschätzungen zu Aussagen von OpenAI-CEO Sam Altman zu Artificial General Intelligence ab.
Gründergeschichte
- Er absolvierte einen Bachelor in Hagenberg, arbeitete als Full-Stack-Developer und interessierte sich früh für selbstlernende Algorithmen.
- Er schrieb seine Doktorarbeit bei Sepp Hochreiter und spezialisierte sich auf Reinforcement Learning und Domain Adaptation.
- Er entdeckte Large Language Models (LLMs) gegen Ende seines Doktorats und beschäftigte sich zunehmend mit generativer KI.
- Er wollte neuronale Netze mit symbolischen Ansätzen kombinieren, um selbstoptimierende Systeme zu entwickeln.
Neurosymbolische KI
- Er erläutert den statistischen Charakter reiner neuronaler Netze, der zu Halluzinationen und geringer Verlässlichkeit führen kann.
- Er ergänzt diesen Ansatz durch symbolische Komponenten, um Verifikation und Effizienz zu steigern (Beispiel: Taschenrechner-Aufruf statt alles rein neuronal zu lösen).
- Er setzt auf hybride Systeme, die ihre Fähigkeiten erweitern und gleichzeitig strukturierte Logik nutzen.
- Er plant, dass solche Systeme langfristig eigenständiger lernen und sich selbst immer weiter verbessern.
Extensity.AI – Fokus und Produkte
- Er gründete Extensity.AI auf Basis eines neuro-symbolischen Frameworks und arbeitet mit einem Team von elf Personen.
- Er konzentriert sich zunächst auf die Automatisierung von Forschungsprozessen (z.B. Literaturrecherche, Proposal-Schreiben, Paper-Erstellung).
- Er entwickelt eine Plattform mit Closed-Alpha-Programm, um Forschungs-Workflows effizienter zu gestalten und plant weitere Tools (z.B. Code-Integration mit GitHub).
- Er strebt eine Finanzierungsrunde an, um die Entwicklungs- und Vertriebsaktivitäten zu beschleunigen (er erwähnt als Vergleich Sakana in Japan mit 200 Millionen Funding).
Entwicklungen bei LLMs, OpenAI, Deepseek und Open Source
- Zu den OpenAI-Modellen o1 und o3 merkt Marius an, dass OpenAI nicht mehr offen agiert, was Außenstehenden Einblicke erschwert.
- Er sieht Benchmarks allein nicht als ausreichende Grundlage, um wahre Generalisierung zu belegen.
- Er vermutet, dass OpenAI verschiedene Teilmodelle oder Tools orchestriert, statt ein monolithisches Modell zu nutzen.
- Er betont, dass proprietäre Modelle oft viel mehr händisches Labeling und spezielle Anpassungen nutzen als vielen bewusst ist
- Zu DeepSeek plant ExtensityAI, das Modell in ihrem Framework zu testen und zu prüfen, wie es sich schlägt
- Marius vergleicht Open-Source-Modelle mit kommerziellen Lösungen wie von OpenAI und verweist darauf, dass viele offene Modelle bei komplexeren Aufgaben (z.B. Format-Konvertierungen) oft noch scheitern.
5. Ausblick auf AGI
- Er erklärt, dass derzeit kein KI-System Fähigkeiten dauerhaft speichert und selbstständig erweitert.
- Er rechnet damit, dass Algorithmen in fünf bis zehn Jahren vermehrt wissenschaftliche Durchbrüche ermöglichen, besonders bei komplexen oder interdisziplinären Projekten.
- Er hält Sam Altmans Prognosen zu AGI für vorschnell, weil viele grundlegende Probleme noch ungelöst bleiben (z.B. Speicher- und Verifikationsmechanismen).