31.03.2025
SARAH BUCHNER

„Ich will nicht in einer Gesellschaft leben, in der es negativ gesehen wird, Risiko zu nehmen“

Sarah Buchner gab ihre Konzernkarriere in Österreich auf, um in den USA zu gründen. Für ihr KI-Startup holte sie 30 Mio. Dollar Kapital – und will jetzt die Baubranche aufmischen.
/artikel/sarah-buchner-trunk-tools
Sarah Buchner, Gründerin und CEO von Trunk Tools
Trunk-Tools-Gründerin Sarah Buchner | Foto: Trunk Tools

Dieser Text über Sarah Buchner und Trunk Tools ist zuerst im brutkasten-Printmagazin von März 2025 “Hoch hinaus” erschienen. Eine Download-Möglichkeit des gesamten Magazins findet sich am Ende dieses Artikels.


Mit 19 war sie als Bauleiterin bereits für 50 Personen verantwortlich, mit Mitte 20 war sie Führungskraft bei der Strabag und auf dem besten Weg, eine steile Konzernkarriere zu machen – doch Sarah Buchner entschied sich dagegen und ging in die USA. Nach einem MBA in Stanford gründete sie 2021 das Startup Trunk Tools, das mit künstlicher Intelligenz die Baubranche verändern will. Investoren steckten in zwei Finanzierungsrunden insgesamt 30 Millionen Dollar in das Unternehmen mit Sitz in New York. Mit dem Kapital will die heute 33-jährige Buchner nun in den „Hypergrowth-Modus“ schalten und ihr Team bis Jahresende auf 100 Personen verdoppeln.


Das Team des Startups Trunk Tools rund um Gründerin Sarah Buchner am Times Square
das Trunk-Tools-Team rund um Gründerin Sarah Buchner (zweite von rechts)

„Nasdaq congratulates Trunk Tools on its 20 $ M Series A“. Das prangte am 24. August 2024 in großen Lettern auf dem Billboard, das die US-Aktienbörse am New Yorker Times Square angebracht hat. Davor stand das Team von Trunk Tools. Mittendrin: Sarah Buchner, die das US-Startup gegründet hat und es als CEO führt. Trunk Tools hat sich zum Ziel gesetzt, mit künstlicher Intelligenz die Baubranche zu verändern.

Die Geschichte des Startups beginnt aber 6.600 Kilometer weiter östlich: in der 900-Einwohner-Gemeinde Eitzing im oberösterreichischen Innviertel. Hier ist Buchner aufgewachsen. Schon in der Schule zeigte sich ihr spezielles Talent für Mathematik; sie nahm an mehreren Mathematik-Olympiaden teil und gab Fußballern des geografisch nahe gelegenen Bundesligavereins SV Ried Nachhilfe – als sie selbst noch Schülerin war.

Doch ebenso früh kam Buchner mit Handwerk in Berührung: Ihr Vater war als Tischler selbstständig. Schon im Alter von zwölf Jahren arbeitete sie selbst mit und wurde von ihrem Vater auf Baustellen mitgenommen.

Sarah Buchner
Sarah Buchner | Foto: Trunk Tools

„Harte Arbeit und Bildung“

„Für mich waren es vor allem zwei Dinge, die mir meine Eltern mitgegeben haben: harte Arbeit und Bildung“, sagt Buchner im Gespräch mit brutkasten. „Wenn ich ein besseres Leben haben will, braucht es das. Das habe ich wirklich verinnerlicht.“ Um Geld zu verdienen, arbeitete Buchner auch als Kellnerin, unter anderem am Oktoberfest in München. „Geld war Freiheit, Geld war Sicherheit“, sagt sie heute. Buchner maturierte mit einem Notenschnitt von 1,0 und ging dann nach Wien, um zu studieren.

Parallel zum Studium arbeitete sie schon Vollzeit und war als Bau- und Projektleiterin tätig. Dass sie einmal selbst gründen würde, stand damals noch nicht auf ihrer Agenda. Beruflich kam sie schnell voran: Ab 2016 arbeitete sie beim Strabag-Tochterunternehmen Züblin, später bei der Strabag selbst. „Ganz viel von meiner Geschichte ist sicherheitsgetrieben“, blickt Buchner zurück. „Dann gab es plötzlich diese Konzernjobs, die relativ viel Geld zahlen und komplett abgesichert sind. Das hat mir viel Spaß gemacht.“

Allerdings hätten ihr diese Konzernjobs auch „ein falsches Gefühl von Sicherheit“ gegeben, sagt Buchner. „Ich kannte halt auch keine wirklich andere Variante.“ Das begann sich aber allmählich zu ändern: „Ich lernte immer mehr Menschen mit anderen Lebenswegen kennen, die etwas auf die Beine gestellt hatten“, erinnert sich die Gründerin.

„Wenn ich weiß, dass ich es eh schaffe, ist es keine Herausforderung mehr“

Während sie beruflich aufstieg, studierte Buchner parallel. Sie schloss sogar zwei Studiengänge jeweils als Diplom-Ingenieurin ab. In der Strabag übernahm sie dann die Leitung einer Gruppe, die auf die Digitalisierung der Baubranche spezialisiert war. Sie war gerade Ende 20 und hatte eine realistische Perspektive, langfristig in den Vorstand aufzusteigen.

Auf Anraten eines Mentors in der Strabag entschied sie sich, eine Dissertation im Bereich Civil Engineering & Data Science zu schreiben. Die an der Technischen Universität Wien verfasste Doktorarbeit trägt den Titel „Disruptive Innovations in the Field of Construction“; sie legte später auch den Grundstein für die Arbeit mit Trunk Tools. Doch bis dahin sollten noch ein paar Jahre vergehen.

Indes reifte in Buchner immer stärker der Gedanke, eine neue Herausforderung zu suchen. „Mir war klar, wenn ich Vorstand werden will, dann kann ich das. Das wird vielleicht zehn Jahre dauern, vielleicht 20 Jahre, und vielleicht nicht bei der Strabag sein, sondern bei einem anderen Unternehmen; aber ich wusste, dass ich es schaffen kann“, erinnert sie sich heute. „Und dann war es für mich schon wieder uninteressant. Wenn ich weiß, dass ich es eh schaffe, ist es keine Herausforderung mehr.“

„Um mit den ganz Großen mitzuspielen, muss ich ins Silicon Valley“

Sarah Buchner
Sarah Buchner | Foto: Trunk Tools

Für Buchner kristallisierte sich immer mehr heraus: Sie wollte selbst gründen. Auf eine Konzernkarriere zu verzichten, um ein Startup zu gründen, ist schon per se ein großer Schritt. Buchner dachte aber noch größer: Sie wollte in die USA – und dort gründen: „Wenn ich mir selbst beweisen will, dass ich mit den ganz Großen mitspielen kann, muss ich ins Silicon Valley.“

Auch bezüglich des unternehmerischen Spirits fühlte sich Buchner in den USA besser aufgehoben: „Jedes Mal, wenn ich in Europa gründen wollte, hat man mir eingeredet, dass damit meine Karriere vorbei sei“, sagt Buchner. Und auch unabhängig vom Startup-Thema sah die spätere Gründerin einige Dinge kritisch: „In Europa herrscht häufig die Einstellung, dass Normalität das Ziel ist. Das habe ich nicht ausgehalten.“ So sei ihr etwa ständig gesagt worden, sie solle doch nicht am Samstag oder Sonntag arbeiten: „Mein Drive ist als negativer Einfluss auf andere dargestellt worden – das ist absurd.“

Dabei bräuchte es ihrer Meinung nach genau das Gegenteil: „Ich will nicht in einer Gesellschaft leben, in der es negativ gesehen wird, Risiko zu nehmen. So werden wir niemals nach vorne kommen.“

„Ohne Stanford hätte ich das nie so geschafft“

Ein Risiko ist es sicherlich, in den USA zu gründen. Zu Beginn stellt sich schon einmal die Frage: Wenn man in ein anderes Land geht, noch einmal von vorne anfängt – wie bekommt man die Glaubwürdigkeit bei den Investor:innen, wie die notwendigen Kontakte? Buchner entschied sich, ein MBA-Programm in Stanford zu absolvieren. Es ging ihr dabei zum einen um das Business-Know-how – denn auch, wenn sie mehrere Studienabschlüsse und einen starken akademischen Track Record hatte, war dieser eher im technischen Bereich angesiedelt.

Noch wichtiger war ihr aber ein anderer Aspekt: „Die meisten fachlichen Inhalte hätte ich auch online lernen können, über YouTube oder Google. Der Grund, warum ich einen richtigen MBA gemacht habe, war, dass ich in Amerika nicht von null beginnen wollte“, erläutert Buchner. Mit dem MBA gibt es einerseits ein Visum; und andererseits kann man sich ein Netzwerk aufbauen: „Ich habe das in Europa in der Baubranche schon gesehen, dass das Netzwerken einer der wichtigsten Aspekte für meinen Karriereerfolg war. Und das wollte ich in Amerika wiederholen.“

Dieses Netzwerk aufzubauen ermöglichte das Studium in Stanford, wie Buchner sagt: „Ohne Stanford hätte ich das nie so geschafft. Auch meine Firma gäbe es so nicht. Man muss das schon klar sagen: Man kauft sich ein Network.“

Das sei eine Investition wie alles andere. Ein MBA in Stanford kostet inklusive aller Neben- und Lebenskosten wahrscheinlich 200.000 bis 250.000 Dollar. „Das habe ich in meine berufliche Zukunft investiert.“ Der Return on Investment (ROI) eines Stanford-Studiums liege bei rund sechs Millionen Dollar, so Buchner. Beim Abschluss schwöre man, dass man auf jede Kontaktaufnahme eines anderen Stanford-Alumnus reagiere. „Das zeigt, wie das Mindset dort funktioniert. Ich muss auf jede Mail antworten, die mir jemand schickt, der in Stanford war“, so die Gründerin.

„Create genuine relationships“

Ein Selbstläufer ist es aber dennoch nicht. Das Geheimnis, ein gutes Netzwerk aufzubauen, ist laut Buchner auf eine einfache Formel zu bringen: Create genuine relationships. „Wenn mich einer meiner Kunden oder Mitarbeiter oder auch Ex-Mitarbeiter nach Hilfe fragt, würde ich das immer machen, weil ich mich für diese Menschen und deren Leben wirklich interessiere.“

Das sei der Unterschied zu manchen Sales-Personen, die auf den schnellen Deal aus seien und dann nie wieder von sich hören ließen: „Ich bin immer noch in Kontakt mit meinen Mentoren bei der Strabag oder mit meinem Bauleiter, der mir mit 15 Jahren beigebracht hat, wie man einen Bauplan liest“, so Buchner. Wenn echtes Interesse dahinter stehe, können Beziehungen fürs Leben entstehen.

Im Silicon Valley angekommen versuchte Buchner direkt, eine erste Idee umzusetzen. „Ich habe das nach einem halben Jahr wieder aufgegeben“, erzählt sie heute; sie habe nicht ausreichend Daten von Bauunternehmen erhalten, um ihre Idee umzusetzen. Doch Buchner gab nicht auf. „Ich habe mir gesagt: ‚Jetzt schaue ich mir mal ein, zwei Jahre an, wie das System hier funktioniert, und verstehe, wie man das Spiel spielt. Dann komme ich zurück und spiele!‘“, blickt sie auf ihre Anfangszeit in Kalifornien zurück. So kam es dann auch.

„Wer sollte mir nicht glauben, dass ich weiß, was ich tue?“

Sarah Buchner
Sarah Buchner | Foto: Trunk Tools

2021 schloss Buchner den MBA ab. Sie war nun bereit für den nächsten Schritt: ihr Startup Trunk Tools. Dabei traf sie eine weitere nicht alltägliche Entscheidung: Sie gründete Trunk Tools alleine, ohne Co-Founder:in.

„Ich bin ein Zahlenmensch und habe mir Daten angeschaut, warum Startups scheitern. Einer der Top-3-Gründe, egal welche Studie du dir anschaust, sind immer Probleme zwischen Co-Foundern“, erläutert die Gründerin. „Wenn ich einen der Top-3-Gründe, warum Startups scheitern, vermeiden kann, erhöht das meine Erfolgswahrscheinlichkeit schon einmal.“

Die Solo-Gründung brachte auch Herausforderungen mit sich: „Als weiblicher Solo-Founder aus dem Ausland gab es schon einige Themen, die einfacher gewesen wären, wenn ich ein größeres oder ein männliches Gründerteam gehabt hätte.“ Aber dennoch: „Ich war 20 Jahre in der Baubranche, ich habe ein Doktorat in dem Bereich, ich habe einen MBA von Stanford. Wer sollte mir nicht glauben, dass ich weiß, was ich tue?“

Sobald man bewiesen habe, dass es funktioniere, werde es auch nicht mehr hinterfragt, sagt Buchner. „Schwierigkeiten aus dem ersten Jahr verschwinden – und neue kommen“, blickt sie zurück. Die Gründerin startete mit drei Angestellten und setzte die ersten Monate noch auf Bootstrapping, finanzierte also Trunk Tools mit ihrem eigenen Geld. „Wir hatten ein Produkt und Umsatz, bevor ich wichtige Positionen besetzt und Geld aufgenommen habe“, erzählt die Gründerin.

Zehn Millionen Dollar Investment für erstes Produkt

Was aber war dieses Produkt? Trunk Tools begann ursprünglich mit einem digitalen Incentive-Programm, das vor allem auf die Baustellenpraxis zugeschnitten war: Es erfasste die geleisteten Stunden der Arbeiter:innen und setzte gezielte Anreize, um ihre Leistungen zu steigern und ihre Motivation zu erhöhen. „Das hat wahnsinnig gut funktioniert“, erzählt Buchner – so gut, dass es zunächst zu einem Deal über 500.000 Dollar und schließlich zu einer Finanzierungsrunde über zehn Millionen Dollar geführt hat, die im Sommer 2023 abgeschlossen wurde.

ChatGPT war damals gerade einmal ein paar Monate auf dem Markt. Der Hype rund um generative künstliche Intelligenz und Large Language Models (LLMs) war neu. Auch in den Gesprächen mit Investor:innen kam das Thema immer wieder auf. Nach dem Abschluss der Finanzierungsrunde ließ Buchner ihr Team daher untersuchen, wie man LLMs zur Skalierung des Produkts einsetzen könnte.

Das Ergebnis: Es gäbe potenziell noch viel mehr Möglichkeiten, LLMs in der Baubranche einzusetzen. Das Team ging direkt in den Austausch mit Bauarbeiter:innen – und kam mit mehreren möglichen MVPs zurück. Das beste Feedback von den Arbeiter:innen gab es für eine Lösung, die die Dokumente schnell und strukturiert durchsuchbar macht.

„Man braucht weniger Menschen, die Dokument A mit Dokument B vergleichen“

So entstand „Trunktext“, eine KI-basierte Anwendung, die große Mengen von Baudokumenten – mittlerweile fast ausschließlich in digitaler Form vorhanden – per Schnittstelle anbindet, vorab aufbereitet und mithilfe von Retrieval Augmented Generation (RAG) gezielt abfragt. „Wir nehmen all diese Daten aus den Datensilos und verwenden verschiedene deterministische und probabilistische Modelle, um diese unstrukturierten Daten in strukturierte Daten zu übersetzen“, erläutert Buchner. Darauf basierend könnten KI-Agenten dann Workflows übernehmen. Das Ergebnis: „Man braucht weniger Menschen, die Dokument A mit Dokument B vergleichen oder andere bürokratische Workflows bewältigen.“

Buchner präsentierte die Lösung ihrem Board und schlug vor, von den zehn aufgenommenen Millionen neun für das eigentliche Produkt zu verwenden und eine für den neuen Ansatz. Es sollte anders kommen: Denn tatsächlich stellte sich bald heraus, dass das neue Produkt mehr Potenzial hatte. Mittlerweile fokussiert sich Trunk Tools hauptsächlich darauf, führt aber auch das ursprüngliche Produkt weiter. Buchner hat das Startup mittlerweile vom Silicon Valley nach New York übersiedelt. Außerdem hat das Unternehmen noch einen weiteren Standort in Austin in Texas.

„Wir nehmen die Modelle, die es auf dem Markt gibt, und finetunen sie für die Baubranche“

Sarah Buchner
Sarah Buchner | Foto: Trunk Tools

Trunk Tools ist auf der Anwendungsebene von künstlicher Intelligenz positioniert. In diesem Bereich sieht Buchner auch das größte Potenzial für Startups. Demgegenüber steht erstens die Ebene der Foundational Models, das sind beispielsweise die großen Sprachmodelle, wie sie von OpenAI, Google oder Deep Seek herausgegeben werden. „Das ist unglaublich teuer und ein Race to the Bottom. Das ist etwas, das ich nicht machen wollen würde“, sagt die Gründerin. Zweitens gibt es auch noch die Infrastruktur-Ebene; dort sei der Wettbewerb „sehr hoch“.

Im Gegensatz dazu steht eben die Anwendungsebene: Startups setzen Lösungen auf bestehenden KI-Modellen auf und optimieren sie für Use Cases in bestimmten Branchen. „Wir nehmen die Modelle, die es am Markt gibt, und finetunen sie für die Baubranche“, erläutert Buchner. Doch auch in anderen Branchen gebe es für Startups hier viele Möglichkeiten, da nach wie vor viele Ineffizienzen zu beseitigen wären.

20 Millionen Dollar in zwei Wochen

Für Trunk Tools folgte im Sommer 2024 die nächste Finanzierungsrunde. Buchner und ihr Team nahmen weitere 20 Millionen Dollar auf – und zwar schneller als gedacht: Eigentlich hatte sie den Abschluss der Runde erst ein oder zwei Quartale später geplant, der Lead-Investor Redpoint Ventures sagte die von der Gründerin angepeilte Bewertung allerdings bereits direkt zu. Buchner schlug ein, zwei Wochen später war das Geld am Bankkonto.

Wichtig dabei: Die Trunk-Tools-Gründerin ist konstant im Gespräch mit Wunsch-Investoren – auch, wenn gerade keine Finanzierungsrunde unmittelbar ansteht. Sie hat dabei eine Liste mit den zehn bis 20 Investoren, die sie gern an Bord hätte, und versucht, mit diesen einmal pro Quartal im Austausch zu sein.

Rund ein halbes Jahr später sieht Buchner Trunk Tools „in einer Hypergrowth-Phase“. Das Startup ist seit dem Vorjahr von zwölf auf 50 Leute angewachsen; noch in diesem Jahr soll sich die Belegschaft auf 100 Personen verdoppeln. Aufgestockt werden soll vor allem in zwei Bereichen: im Go-to-Market- sowie im Produkt- und Engineering-Bereich.

IPO, Übernahme – und „eine Million andere Möglichkeiten“

Und langfristig? Könnte Trunk Tools an die Börse gehen oder verkauft werden? Buchner will sich hier noch nicht festlegen. Für einen Börsengang hätte Trunk Tools „definitiv das Potenzial“; allerdings sei Construction Tech „traditionell ein M&A-Bereich“. Trunk Tools habe auch bereits Übernahmeangebote erhalten, aber diese abgelehnt. Mögliche künftige Angebote werden dem Board vorgelegt, gemeinsam wird eine Entscheidung getroffen. Aber Buchner hält auch fest: „Daneben gibt es noch eine Million andere Möglichkeiten.“ Es gebe auch Startups, die die Profitabilität erreicht haben und dann ihre Investoren ausgezahlt hätten. Selbst ein Scheitern der Firma sei nicht ausgeschlossen.

Und auch, wenn aktuell nichts darauf hindeutet, hat Buchner keine Angst, zu scheitern. Das ist auch ihr wichtigster Tipp, den sie an angehende Gründer:innen hat: „Ich bin oft gescheitert in meinem Leben. Ich habe mich zwei- oder dreimal bei McKinsey beworben und nicht einmal ein Interview bekommen – und letztes Jahr haben sie mich dann eingeladen, bei deren Konferenz in Dubai zu sprechen. Ich bin in Harvard nicht reingekommen und habe später dann den Stanford-MBA gemacht, in den es noch schwieriger war, reinzukommen. Wenn man sich mein Leben anschaut, glaubt man, es hat alles perfekt geklappt – aber das ist überhaupt nicht wahr.“


Aus dem Archiv: Sarah Buchner im brutkasten-Videotalk (September 2024)

Deine ungelesenen Artikel:
27.01.2025

Open Source und KI: „Es geht nicht darum, zu den Guten zu gehören“

Nachlese. Die Nutzung von Open-Source-Modellen eröffnet Unternehmen auch im KI-Bereich weitreichende Möglichkeiten. Es gibt dabei aber auch einiges zu bedenken. Darüber und mehr diskutierten in Folge 5 von "No Hype KI" Stephan Kraft von Red Hat, Florian Böttcher von CANCOM Austria, Natalie Ségur-Cabanac von Women in AI und Patrick Ratheiser von Leftshift.One.
/artikel/no-hype-ki-folge-5
27.01.2025

Open Source und KI: „Es geht nicht darum, zu den Guten zu gehören“

Nachlese. Die Nutzung von Open-Source-Modellen eröffnet Unternehmen auch im KI-Bereich weitreichende Möglichkeiten. Es gibt dabei aber auch einiges zu bedenken. Darüber und mehr diskutierten in Folge 5 von "No Hype KI" Stephan Kraft von Red Hat, Florian Böttcher von CANCOM Austria, Natalie Ségur-Cabanac von Women in AI und Patrick Ratheiser von Leftshift.One.
/artikel/no-hype-ki-folge-5

„No Hype KI“ wird unterstützt von CANCOM AustriaIBMITSVMicrosoftNagarroRed Hat und Universität Graz.

Kollaborativ, transparent, frei zugänglich und nicht profit-orientiert – mit Open-Source-Software wird eine Reihe von Eigenschaften assoziiert. Und oftmals stehen bei der Nutzung ethische Überlegungen im Zentrum. Dabei gibt es auch ganz praktische Gründe, die für eine Verwendung durch Unternehmen sprechen – auch bei der Implementierung von KI-Anwendungen, ist Stephan Kraft, Community Advocate & Business Development OpenShift & Application Services bei Red Hat, überzeugt. In Folge fünf der Serie „No Hype KI“ diskutierte er dieses und weitere Themen mit Florian Böttcher, Solution Architect bei CANCOM Austria, Natalie Ségur-Cabanac, Policy Lead bei Women in AI und Patrick Ratheiser, Gründer & CEO von Leftshift.One.

„Thema ein Stück weit aus dieser emotionalen, moralisierenden Ecke herausholen“

„Ich will das Thema ein Stück weit aus dieser emotionalen, moralisierenden Ecke herausholen“, sagt Stephan Kraft. Für Red Hat als weltweit führenden Anbieter für Open-Source-Lösungen für Unternehmen gehen die Argumente für eine Nutzung nämlich weit darüber hinaus. „Es geht nicht darum, Open Source als Selbstzweck zu sehen, um zu den Guten zu gehören“, so der Experte. Tatsächlich sei die Verwendung von Open Source gerade bei der Etablierung von KI im Unternehmen für Startups und KMU eine wichtige Weichenstellung.

Offenheit, um Diskriminierung entgegenzuwirken

Auch Natalie Ségur-Cabanac sieht Open Source als „Key Technology“ im KI-Bereich. Für „Women in AI“ spiele die Offenheit eine zentrale Rolle: „Diese Offenheit braucht es, um Diskriminierung entgegenzuwirken.“ Open Source verbessere den Zugang für Frauen zur Technologie, die Abbildung von Frauen in den Daten und es vergrößere die Möglichkeiten in der Forschung. Man müsse aber auch aufpassen, ob Software wirklich so offen sei, wie behauptet, sagt sie bezogen auf die aktuellen Diskussionen rund um OpenAI, das sich – ursprünglich als offenes Projekt gestartet – zum profitorientierten Unternehmen entwickelte. Es brauche auch eine klare Definition, was „open“ sei.

Masse an Möglichkeiten

Leftshift.One-Gründer Patrick Ratheiser betont auch die schiere Masse an Möglichkeiten, die Open Source bietet. „2021 hatten wir weltweit Zugriff auf circa 5.000 Open-Source-Modelle. Jetzt sind es bereits mehr als eine Million.“ Die Nutzbarkeit sei also klar gegeben, zudem biete die Technologie eine gewisse Unabhängigkeit und werde über ihre Vielfalt zum Innovationstreiber.

Ist Open Source immer die beste Lösung?

Doch bedeutet das, dass Open Source immer die optimale Lösung ist? Ratheiser sieht das differenziert: „Es ist ganz wichtig zu erkennen, was der Kunde braucht und was in dem Fall gerade notwendig ist. Egal, ob es nun On-Premise, in der Cloud, Open Source oder Closed Source ist.“ Florian Böttcher von CANCOM Austria pflichtet hier bei: „Wir setzen genau so auf hybrid.“

Datenstruktur im Hintergrund ist entscheidend

Ein Thema, bei dem bei Open Source Vorsicht geboten ist, spricht Natalie Ségur-Cabanac an. Besonders wichtig sei es bei KI-Anwendungen, eine gute Datenstruktur im Hintergrund zu haben. „Die Verantwortung, dass ein Modell mit sauberen Daten trainiert worden ist, liegt bei den Anbietern. Bei Open Source verschwimmt das ein bisschen. Wer ist wofür zuständig? Das ist eine Herausforderung für die Compliance zu schauen, wo man selbst verantwortlich ist und wo man sich auf einen Anbieter verlassen kann.“

Compliance: Großes Thema – mehr Sichereheit mit professioneller Unterstützung

Stephan Kraft hakt hier ein. Genau aus solchen Gründen gebe es Unternehmen wie Red Hat, die mit ihrem Enterprise-Support für Open-Source-Lösungen die Qualitätssicherung auch im rechtlichen Bereich übernehmen. „Das ist ein ganz wichtiger Teil unseres Versprechens gegenüber Kunden“, so Kraft. Unbedacht im Unternehmen mit Open Source zu arbeiten, könne dagegen in „Compliance-Fallen“ führen, pflichtet er Ségur-Cabanac bei.

Das sieht auch Patrick Ratheiser als Thema bei Leftshift.One: „Unsere Lösung ist Closed Source, wir setzen aber im Hintergrund Open Source ein. Wichtig ist, dass wir dem Kunden Compliance garantieren können.“ Stephan Kraft empfiehlt Unternehmen bei der Open-Source-Nutzung: „Man kann nicht immer gleich die neueste ‚bleeding edge‘-Lösung nehmen sondern sollte etwas konservativer herangehen.“

Infrastruktur: Gut planen, was man wirklich braucht

Unabhängig davon, ob man nun Open Source oder Closed Source nutzt, braucht es für die Nutzung von KI die richtige Infrastruktur. „Es kommt natürlich auf den Use Case an, den ein Unternehmen umsetzen will. Da sind die Anforderungen an die Infrastruktur sehr unterschiedlich“, grenzt Florian Böttcher ein. CANCOM Austria unterstützt seine Kunden in genau der Frage. Anwendungen wie das Training von KI-Modellen würde aus gutem Grund kaum in Österreich umgesetzt. „KI ist sehr stromhungrig und entwickelt viel Hitze. Das ist schwierig für ein eigenes Data-Center im Unternehmen, gerade wenn man die Strompreise in Österreich ansieht“, so Böttcher.

„Rechenleistungs-Hunger“ von KI könnte sich in Zukunft verringern

Wichtig sei es letztlich, sich als Unternehmen sehr klar darüber zu sein, was man umsetzen wolle. „Danach, welche Software-Lösung man für seinen Use Case einsetzen muss, richtet sich auch die Infrastruktur“, so Böttcher. Er erwarte aber auch, dass die KI-Modelle im nächsten Entwicklungsschritt effizienter werden und der „Rechenleistungs-Hunger“ sich verringere.

Patrick Ratheiser ergänzt: „Es ist grundsätzlich eine Kostenfrage.“ Unternehmen müssten sich sehr gut überlegen, ob sie ein eigenes LLM (Large Language Model) betreiben und dieses sogar selbst trainieren wollen, oder lieber doch eine Usage-basierte Lösung wählen. Er sehe bei österreichischen Unternehmen – auch bei größeren – eine klare Tendenz zur zweiten Variante. „Es lässt sich deutlich schneller einrichten, ist kalkulierbarer und auch viel schneller skalierbar“, erklärt Ratheiser.

Etwa im Forschungsbereich sei es jedoch wichtig und notwendig, auch eigene LLMs und die damit verbundene Infrastruktur zu betreiben. Doch auch die Möglichkeit von hybriden Lösungen biete sich an. „Man kann mittlerweile auch Teile in der Cloud lassen und Teile On-Premise. Man kann etwa nur ein datenschutzsicheres LLM selbst betreiben“, erklärt der Experte, der auch bei der Wahl der genutzten Modelle einen hybriden Ansatz empfiehlt: „Man braucht nicht für alle Use Cases das neueste Modell. Manchmal braucht man überhaupt kein LLM.“

Datenschutz: Einige Herausforderungen bei LLMs

Stichwort: Datenschutz. Hier schafft die europäische Datenschutzgrundverordnung (DSGVO) im KI-Bereich besondere Herausforderungen, weiß Natalie Ségur-Cabanac, die vorab betont: „Ich persönlich halte die DSGVO für ein gutes Regulierungswerk, weil sie sehr viel Spielraum gibt. Ich sage immer: Datenschutz ist sehr komplex, aber nicht kompliziert.“ Konkret seien etwa der Grundsatz der Zweckbezogenheit, also dass man Daten nur für konkrete Zwecke einsetzen darf, und dass man sie minimierend einsetzen muss, relevant für den KI-Bereich. „Da haben wir schon einen Konflikt, weil man ja [bei LLMs] erst einmal schaut, was man aus möglichst vielen Daten machen kann“, so die Expertin.

Ist KI rechtlich innerhalb der EU sogar per se in einem Graubereich?

Auch Transparenzbestimmungen – sowohl in der DSGVO als auch im AI-Act der EU – seien zu beachten. „Wenn ich KI verwende, muss ich auch wissen, was drinnen ist“, fasst Ségur-Cabanac zusammen. Ist KI also rechtlich innerhalb der EU sogar per se in einem Graubereich? „Nein, das glaube ich nicht. Aber man muss seine Hausaufgaben schon gut machen“, sagt die Expertin. Wichtig sei daher auch die im Rahmen des EU-AI-Acts eingeforderte KI-Kompetenz in Unternehmen – im technischen und rechtlichen Bereich.

KI-Kompetenz als zentrales Thema

Patrick Ratheiser stimmt zu: „Neben der Technologie selber sind bei unseren Kunden die Mitarbeiter ein Riesen-Thema. Man muss sie nicht nur wegen dem AI-Act fit bekommen, sondern es geht darum, sie wirklich auf die Anwendungen einzuschulen.“ Wichtig seien dabei auch die Kolleg:innen, die sich bereits mit dem Thema auskennen – die „Pioniere“ im Unternehmen. „AI Literacy ist sicherlich das Thema 2025 und in nächster Zeit. So, wie wir gelernt haben, mit dem Smartphone umzugehen, werden wir es auch mit generativer KI lernen“, so Ratheiser.

„Einfach einmal ausprobieren“

Stephan Kraft ergänzt: Neben einer soliden Datenbasis und der notwendigen Kompetenz brauche es bei KI – gerade auch im Bereich Open Source – noch etwas: „Einfach einmal ausprobieren. Es braucht auch Trial and Error. Das ist vielleicht oft das Schwierigste für CFOs und Geschäftsführer.“ Dieses Ausprobieren sollte aber innerhalb eines festgelegten Rahmens passieren, damit die KI-Implementierung gelingt, meint Natalie Ségur-Cabanac: „Unternehmen brauchen eine KI-Strategie und müssen wissen, was sie mit der Technologie erreichen wollen.“ Auch sich mit den zuvor angesprochenen rechtlichen Anforderungen – Stichwort Compliance – zu beschäftigen, komme zeitlich erst nach der Festlegung der Strategie.


Die gesamte Folge ansehen:

Die Nachlesen der bisherigen Folgen:

Folge 1: “No Hype KI – wo stehen wir nach zwei Jahren ChatGPT?

Folge 2: “Was kann KI in Gesundheit, Bildung und im öffentlichen Sektor leisten?

Folge 3: “Der größte Feind ist Zettel und Bleistift”: Erfolgsfaktoren und Herausforderungen in der KI-Praxis”

Folge 4: KI-Geschäftsmodelle: “Wir nutzen nur einen Bruchteil dessen, was möglich ist”


Die Serie wird von brutkasten in redaktioneller Unabhängigkeit mit finanzieller Unterstützung unserer Partner:innen produziert.

No Hype KI
27.01.2025

Open Source und KI: „Es geht nicht darum, zu den Guten zu gehören“

Nachlese. Die Nutzung von Open-Source-Modellen eröffnet Unternehmen auch im KI-Bereich weitreichende Möglichkeiten. Es gibt dabei aber auch einiges zu bedenken. Darüber und mehr diskutierten in Folge 5 von "No Hype KI" Stephan Kraft von Red Hat, Florian Böttcher von CANCOM Austria, Natalie Ségur-Cabanac von Women in AI und Patrick Ratheiser von Leftshift.One.
27.01.2025

Open Source und KI: „Es geht nicht darum, zu den Guten zu gehören“

Nachlese. Die Nutzung von Open-Source-Modellen eröffnet Unternehmen auch im KI-Bereich weitreichende Möglichkeiten. Es gibt dabei aber auch einiges zu bedenken. Darüber und mehr diskutierten in Folge 5 von "No Hype KI" Stephan Kraft von Red Hat, Florian Böttcher von CANCOM Austria, Natalie Ségur-Cabanac von Women in AI und Patrick Ratheiser von Leftshift.One.

„No Hype KI“ wird unterstützt von CANCOM AustriaIBMITSVMicrosoftNagarroRed Hat und Universität Graz.

Kollaborativ, transparent, frei zugänglich und nicht profit-orientiert – mit Open-Source-Software wird eine Reihe von Eigenschaften assoziiert. Und oftmals stehen bei der Nutzung ethische Überlegungen im Zentrum. Dabei gibt es auch ganz praktische Gründe, die für eine Verwendung durch Unternehmen sprechen – auch bei der Implementierung von KI-Anwendungen, ist Stephan Kraft, Community Advocate & Business Development OpenShift & Application Services bei Red Hat, überzeugt. In Folge fünf der Serie „No Hype KI“ diskutierte er dieses und weitere Themen mit Florian Böttcher, Solution Architect bei CANCOM Austria, Natalie Ségur-Cabanac, Policy Lead bei Women in AI und Patrick Ratheiser, Gründer & CEO von Leftshift.One.

„Thema ein Stück weit aus dieser emotionalen, moralisierenden Ecke herausholen“

„Ich will das Thema ein Stück weit aus dieser emotionalen, moralisierenden Ecke herausholen“, sagt Stephan Kraft. Für Red Hat als weltweit führenden Anbieter für Open-Source-Lösungen für Unternehmen gehen die Argumente für eine Nutzung nämlich weit darüber hinaus. „Es geht nicht darum, Open Source als Selbstzweck zu sehen, um zu den Guten zu gehören“, so der Experte. Tatsächlich sei die Verwendung von Open Source gerade bei der Etablierung von KI im Unternehmen für Startups und KMU eine wichtige Weichenstellung.

Offenheit, um Diskriminierung entgegenzuwirken

Auch Natalie Ségur-Cabanac sieht Open Source als „Key Technology“ im KI-Bereich. Für „Women in AI“ spiele die Offenheit eine zentrale Rolle: „Diese Offenheit braucht es, um Diskriminierung entgegenzuwirken.“ Open Source verbessere den Zugang für Frauen zur Technologie, die Abbildung von Frauen in den Daten und es vergrößere die Möglichkeiten in der Forschung. Man müsse aber auch aufpassen, ob Software wirklich so offen sei, wie behauptet, sagt sie bezogen auf die aktuellen Diskussionen rund um OpenAI, das sich – ursprünglich als offenes Projekt gestartet – zum profitorientierten Unternehmen entwickelte. Es brauche auch eine klare Definition, was „open“ sei.

Masse an Möglichkeiten

Leftshift.One-Gründer Patrick Ratheiser betont auch die schiere Masse an Möglichkeiten, die Open Source bietet. „2021 hatten wir weltweit Zugriff auf circa 5.000 Open-Source-Modelle. Jetzt sind es bereits mehr als eine Million.“ Die Nutzbarkeit sei also klar gegeben, zudem biete die Technologie eine gewisse Unabhängigkeit und werde über ihre Vielfalt zum Innovationstreiber.

Ist Open Source immer die beste Lösung?

Doch bedeutet das, dass Open Source immer die optimale Lösung ist? Ratheiser sieht das differenziert: „Es ist ganz wichtig zu erkennen, was der Kunde braucht und was in dem Fall gerade notwendig ist. Egal, ob es nun On-Premise, in der Cloud, Open Source oder Closed Source ist.“ Florian Böttcher von CANCOM Austria pflichtet hier bei: „Wir setzen genau so auf hybrid.“

Datenstruktur im Hintergrund ist entscheidend

Ein Thema, bei dem bei Open Source Vorsicht geboten ist, spricht Natalie Ségur-Cabanac an. Besonders wichtig sei es bei KI-Anwendungen, eine gute Datenstruktur im Hintergrund zu haben. „Die Verantwortung, dass ein Modell mit sauberen Daten trainiert worden ist, liegt bei den Anbietern. Bei Open Source verschwimmt das ein bisschen. Wer ist wofür zuständig? Das ist eine Herausforderung für die Compliance zu schauen, wo man selbst verantwortlich ist und wo man sich auf einen Anbieter verlassen kann.“

Compliance: Großes Thema – mehr Sichereheit mit professioneller Unterstützung

Stephan Kraft hakt hier ein. Genau aus solchen Gründen gebe es Unternehmen wie Red Hat, die mit ihrem Enterprise-Support für Open-Source-Lösungen die Qualitätssicherung auch im rechtlichen Bereich übernehmen. „Das ist ein ganz wichtiger Teil unseres Versprechens gegenüber Kunden“, so Kraft. Unbedacht im Unternehmen mit Open Source zu arbeiten, könne dagegen in „Compliance-Fallen“ führen, pflichtet er Ségur-Cabanac bei.

Das sieht auch Patrick Ratheiser als Thema bei Leftshift.One: „Unsere Lösung ist Closed Source, wir setzen aber im Hintergrund Open Source ein. Wichtig ist, dass wir dem Kunden Compliance garantieren können.“ Stephan Kraft empfiehlt Unternehmen bei der Open-Source-Nutzung: „Man kann nicht immer gleich die neueste ‚bleeding edge‘-Lösung nehmen sondern sollte etwas konservativer herangehen.“

Infrastruktur: Gut planen, was man wirklich braucht

Unabhängig davon, ob man nun Open Source oder Closed Source nutzt, braucht es für die Nutzung von KI die richtige Infrastruktur. „Es kommt natürlich auf den Use Case an, den ein Unternehmen umsetzen will. Da sind die Anforderungen an die Infrastruktur sehr unterschiedlich“, grenzt Florian Böttcher ein. CANCOM Austria unterstützt seine Kunden in genau der Frage. Anwendungen wie das Training von KI-Modellen würde aus gutem Grund kaum in Österreich umgesetzt. „KI ist sehr stromhungrig und entwickelt viel Hitze. Das ist schwierig für ein eigenes Data-Center im Unternehmen, gerade wenn man die Strompreise in Österreich ansieht“, so Böttcher.

„Rechenleistungs-Hunger“ von KI könnte sich in Zukunft verringern

Wichtig sei es letztlich, sich als Unternehmen sehr klar darüber zu sein, was man umsetzen wolle. „Danach, welche Software-Lösung man für seinen Use Case einsetzen muss, richtet sich auch die Infrastruktur“, so Böttcher. Er erwarte aber auch, dass die KI-Modelle im nächsten Entwicklungsschritt effizienter werden und der „Rechenleistungs-Hunger“ sich verringere.

Patrick Ratheiser ergänzt: „Es ist grundsätzlich eine Kostenfrage.“ Unternehmen müssten sich sehr gut überlegen, ob sie ein eigenes LLM (Large Language Model) betreiben und dieses sogar selbst trainieren wollen, oder lieber doch eine Usage-basierte Lösung wählen. Er sehe bei österreichischen Unternehmen – auch bei größeren – eine klare Tendenz zur zweiten Variante. „Es lässt sich deutlich schneller einrichten, ist kalkulierbarer und auch viel schneller skalierbar“, erklärt Ratheiser.

Etwa im Forschungsbereich sei es jedoch wichtig und notwendig, auch eigene LLMs und die damit verbundene Infrastruktur zu betreiben. Doch auch die Möglichkeit von hybriden Lösungen biete sich an. „Man kann mittlerweile auch Teile in der Cloud lassen und Teile On-Premise. Man kann etwa nur ein datenschutzsicheres LLM selbst betreiben“, erklärt der Experte, der auch bei der Wahl der genutzten Modelle einen hybriden Ansatz empfiehlt: „Man braucht nicht für alle Use Cases das neueste Modell. Manchmal braucht man überhaupt kein LLM.“

Datenschutz: Einige Herausforderungen bei LLMs

Stichwort: Datenschutz. Hier schafft die europäische Datenschutzgrundverordnung (DSGVO) im KI-Bereich besondere Herausforderungen, weiß Natalie Ségur-Cabanac, die vorab betont: „Ich persönlich halte die DSGVO für ein gutes Regulierungswerk, weil sie sehr viel Spielraum gibt. Ich sage immer: Datenschutz ist sehr komplex, aber nicht kompliziert.“ Konkret seien etwa der Grundsatz der Zweckbezogenheit, also dass man Daten nur für konkrete Zwecke einsetzen darf, und dass man sie minimierend einsetzen muss, relevant für den KI-Bereich. „Da haben wir schon einen Konflikt, weil man ja [bei LLMs] erst einmal schaut, was man aus möglichst vielen Daten machen kann“, so die Expertin.

Ist KI rechtlich innerhalb der EU sogar per se in einem Graubereich?

Auch Transparenzbestimmungen – sowohl in der DSGVO als auch im AI-Act der EU – seien zu beachten. „Wenn ich KI verwende, muss ich auch wissen, was drinnen ist“, fasst Ségur-Cabanac zusammen. Ist KI also rechtlich innerhalb der EU sogar per se in einem Graubereich? „Nein, das glaube ich nicht. Aber man muss seine Hausaufgaben schon gut machen“, sagt die Expertin. Wichtig sei daher auch die im Rahmen des EU-AI-Acts eingeforderte KI-Kompetenz in Unternehmen – im technischen und rechtlichen Bereich.

KI-Kompetenz als zentrales Thema

Patrick Ratheiser stimmt zu: „Neben der Technologie selber sind bei unseren Kunden die Mitarbeiter ein Riesen-Thema. Man muss sie nicht nur wegen dem AI-Act fit bekommen, sondern es geht darum, sie wirklich auf die Anwendungen einzuschulen.“ Wichtig seien dabei auch die Kolleg:innen, die sich bereits mit dem Thema auskennen – die „Pioniere“ im Unternehmen. „AI Literacy ist sicherlich das Thema 2025 und in nächster Zeit. So, wie wir gelernt haben, mit dem Smartphone umzugehen, werden wir es auch mit generativer KI lernen“, so Ratheiser.

„Einfach einmal ausprobieren“

Stephan Kraft ergänzt: Neben einer soliden Datenbasis und der notwendigen Kompetenz brauche es bei KI – gerade auch im Bereich Open Source – noch etwas: „Einfach einmal ausprobieren. Es braucht auch Trial and Error. Das ist vielleicht oft das Schwierigste für CFOs und Geschäftsführer.“ Dieses Ausprobieren sollte aber innerhalb eines festgelegten Rahmens passieren, damit die KI-Implementierung gelingt, meint Natalie Ségur-Cabanac: „Unternehmen brauchen eine KI-Strategie und müssen wissen, was sie mit der Technologie erreichen wollen.“ Auch sich mit den zuvor angesprochenen rechtlichen Anforderungen – Stichwort Compliance – zu beschäftigen, komme zeitlich erst nach der Festlegung der Strategie.


Die gesamte Folge ansehen:

Die Nachlesen der bisherigen Folgen:

Folge 1: “No Hype KI – wo stehen wir nach zwei Jahren ChatGPT?

Folge 2: “Was kann KI in Gesundheit, Bildung und im öffentlichen Sektor leisten?

Folge 3: “Der größte Feind ist Zettel und Bleistift”: Erfolgsfaktoren und Herausforderungen in der KI-Praxis”

Folge 4: KI-Geschäftsmodelle: “Wir nutzen nur einen Bruchteil dessen, was möglich ist”


Die Serie wird von brutkasten in redaktioneller Unabhängigkeit mit finanzieller Unterstützung unserer Partner:innen produziert.

No Hype KI
Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag