14.11.2023

WU-Experiment: Entwickeln MBA-Studierende bessere Innovationsstrategien als ChatGPT?

WU-Professor Nikolaus Franke ließ 21 MBA-Studierende gegen eine künstliche Intelligenz antreten - und testete, wer die besseren Innovationsstrategien liefert.
/artikel/mba-studierende-vs-chatgpt
Nikolaus Franke, wissenschaftlicher Leiter des MBA Entrepreneurship & Innovation,
Nikolaus Franke | Foto: WU Executive Academy/ Adobe Stock (Hintergrund)

Künstliche Intelligenz wird den Arbeitsmarkt verändern – darauf können sich die meisten einigen. Während manche jedoch befürchten, dass durch KI viele Jobs wegfallen werden, halten andere dies für übertrieben – und manche nehmen sogar an, dass KI eine 4-Tage-Woche ermöglichen wird. Letztlich läuft es immer auf eine Frage hinaus: Bei welchen Tätigkeiten kann eine KI Menschen wirklich ersetzen? Eine, die nicht dazu gehört, ist das Erstellen einer Innovationsstrategie. Zumindest ist das die Erkenntnis, die Nikolaus Franke aus einem Experiment mit MBA-Studierenden gezogen hat.

Franke ist Professor für Entrepreneurship und Innovation an der Wirtschaftsuniversität Wien und wissenschaftlicher Leiter des MBA Entrepreneurship & Innovation an der WU Executive Academy. “Wir haben 21 MBA-Studierenden der Spezialisierung Entrepreneurship & Innovation eine Aufgabe gegeben, die unternehmerische Kreativität erfordert”, schildert der Wissenschaftler. Konkret ging es dabei um die Frage, wie ein kleines Unternehmen damit umgehen soll, wenn es eine herausragende Innovationsidee hat, es diese aber nicht schützen kann.

Fünf Minuten Zeit für eigene Innovationsstrategie

Die Studierenden bekamen dann fünf Minuten Zeit um einen eigenen Vorschlag dafür zu stellen. “Die Zeit war so knapp bemessen, dass sie im Grunde sofort losschreiben mussten – für jedes Wort hatten sie nur eine gute Sekunde Zeit”, erläutert Frank. Nachdenken sei kaum möglich gewesen. Was aber bewusst so gestaltet war: “Der Grund für diese extreme Zeitbeschränkung war, dass wir den Studierenden ähnliche Bedingungen wie ChatGPT geben wollten”.

Denn genau dieselbe Aufgabe legte Franke auch dem Chatbot von OpenAI vor. Und noch eine andere Einschränkung gab es: Die Antwort durfte maximal 200 Worte umfassen.

Beurteilt wurden die Lösungen dann von zwei Wissenschaftler:innen mit mehrjähriger Erfahrung im Bereich Entrepreneurship und Innovation. Sie wussten weder, ob die jeweiligen Antworten von Studierenden oder ChatGPT kamen, noch waren sie überhaupt informiert, dass es bei dem Experiment um einen Vergleich zwischen menschlichen Fähigkeiten und künstlicher Intelligenz ging.

“Unternehmerische Intelligenz von MBA-Studierenden eindeutig überlegen”

Die beiden Wissenschaftler:innen bewerten die Ergebnisse auf einer Skala von 1 bis 5, wobei 1 für “sehr gut” und 5 für “sehr schlecht” steht. Das Ergebnis: Die Lösungen der MBA-Studierenden bewerteten sie durchschnittlich mit 2,4. Die Lösung von ChatGPT dagegen erreichte nur einen Wert von 4,5.

Auch bei den einzelnen Kritieren lagen die MBA-Studierenden deutlich vorne: Bei der Frage, wie gut die Strategie auf die Situation zugeschnitten war, kamen die Studierenden beispielsweise im Schnitt auf eine Beurteilung von 2,1. Die Lösung von ChatGPT dagegen bewerteten die Wissenschaftler mit dem schlechtestmöglichen Wert von 5,0.

Alles in allem habe jeder der 21 Studierenden eine bessere Strategie als ChatGPT abgeliefert, resümiert Franke. Dies obwohl ChatGPT fünf Anläufe für die Lösung gebraucht habe und die Studierenden “unter unrealistisch harten Bedingungen” sehr spontane Lösungen abliefern hätten müssen. “Die unternehmerische Intelligenz der MBA-Studierenden ist der künstlichen Intelligenz eindeutig überlegen”, schlussfolgert der Studiengangsleiter daher.

Allerdings: Für den Versuch verwendete Franke eine auf dem Sprachmodell GTP-3.5 basierende Version von ChatGPT, wie die WU Executive Academy auf brutkasten-Anfrage bestätigte. Seit März 2023 ist jedoch auch das Sprachmodell GPT-4 verfügbar, mit dem ChatGPT im Regelfall deutlich bessere Ergebnisse erzielt.

Deine ungelesenen Artikel:
14.11.2024

“Analyser”: Konsortium entwickelt Tool, das bei CSRD und EU-Taxonomie helfen soll

In einem von der FFG geförderten Projekt unter der Leitung von Fraunhofer Austria wird ein Tool entwickelt, das Unternehmen beim Erfüllen der CSRD-Anforderungen unterstützen soll.
/artikel/analyser-konsortium-entwickelt-tool-das-bei-csrd-und-eu-taxonomie-helfen-soll
14.11.2024

“Analyser”: Konsortium entwickelt Tool, das bei CSRD und EU-Taxonomie helfen soll

In einem von der FFG geförderten Projekt unter der Leitung von Fraunhofer Austria wird ein Tool entwickelt, das Unternehmen beim Erfüllen der CSRD-Anforderungen unterstützen soll.
/artikel/analyser-konsortium-entwickelt-tool-das-bei-csrd-und-eu-taxonomie-helfen-soll
Analyser, CSRD, EU-Taxonomie
(c) - PwC Österreich -Das Konsortium des Projekts "Analyser" beim Kick-Off.

Die Regeln der Corporate Sustainability Reporting Directive (CSRD), die in den kommenden Jahren sukzessive schlagend werden, bedeuten für zahlreiche österreichische Unternehmen eine Verpflichtung zur Nachhaltigkeitsberichterstattung. Bei vielen von diesen – auch jene, die freiwillig schon früher als erforderlich mit der Umsetzung starten – werden Schwierigkeiten erwartet, die Anforderungen zu erfüllen, da insbesondere KMU nicht über ausreichend Kapazitäten für interne Nachhaltigkeitsabteilungen verfügen würden.

CSRD und Taxonomie

Dies gilt im Besonderen für die EU-Taxonomie, die ergänzend zur CSRD anzuwenden ist. Gemäß ihr müssen die wirtschaftlichen Aktivitäten eines Unternehmens als nachhaltig oder nicht-nachhaltig deklariert werden.

Die Verordnung umfasst umfangreiche und detaillierte Kriterien, die für Ungeübte nicht leicht zu verstehen sind. Deshalb will in einem kürzlich gestarteten Forschungsprojekt namens “AI Enabled Sustainability Jurisdiction Demonstrator” (Analyser) ein Forschungskonsortium KI-basierte Module entwickeln. Die sollen es auch ungeschulten Anwenderinnen und Anwendern ermöglichen, die gesetzlichen Meldepflichten zu erfüllen. So soll eine Erleichterung für Unternehmen erzielt werden.

“Das oberste Ziel unseres Projekts ist es, die Zahl der KMU zu erhöhen, die selbstständig in der Lage sind, die EU-Taxonomie in guter Qualität zu berichten”, erklärt Maximilian Nowak, der das Projekt bei Fraunhofer Austria leitet.

Das Konsortium

Das Konsortium, bestehend aus Fraunhofer Austria, Universität Innsbruck, Technischer Universität (TU) Wien, Leiwand AI, PwC Wirtschaftsprüfgesellschaft, der Wirtschaftsagentur Niederösterreich ecoplus, Murexin und Lithoz wird dafür Teile des Prozesses mithilfe von Künstlicher Intelligenz automatisieren. Ein Chatbot, der auf einem eigens kreierten Sprachmodell beruht, soll mit den Anwenderinnen und Anwendern im Dialog stehen und sicherstellen, dass alle benötigten Dokumente vorliegen.

Es sind nämlich viele Fragen im Rahmen der Nachhaltigkeitsberichterstattung zu klären: Welche wirtschaftlichen Aktivitäten gibt es im Unternehmen? Wie umfangreich sind diese? Welche davon sind taxonomiefähig, können also überhaupt nach den Kriterien bewertet werden?

Josef Baumüller, der von Seiten der TU Wien an dem Projekt beteiligt ist, sagt: “Es ist vielen noch nicht bewusst, wie komplex die Anforderungen zunächst an die Datenerhebung und anschließend an die Klassifizierung sind. Die Prozesslandschaft im Unternehmen muss erfasst und auf die Vorgaben der EU-Taxonomie übergeleitet werden, darüber hinaus gilt es, relevante Datenbedarfe zu identifizieren und im Sinne der Effizienz v.a. bereits vorhandene Datenbestände zu nützen.”

CSRD-Berichterstattung eine Herausforderung

Dass eine Unterstützung der Unternehmen unumgänglich ist, sagt auch Stefan Merl von der PwC Österreich GmbH Wirtschaftsprüfungsgesellschaft: “Wir spüren bereits jetzt eine massive Zunahme in den Anfragen von Unternehmen, insbesondere von KMU, die sehen, dass die Erfüllung der CSRD-Berichterstattungspflichten eine große Herausforderung ist. Es führt kein Weg daran vorbei, eine automatisierte Lösung zu entwickeln, die weit über den Automatisierungsgrad bestehender Tools hinausgeht. Genau das wollen wir im Projekt ‘Analyser’ verwirklichen.”

Dabei ist essenziell, dass die im Tool eingesetzte KI fair, nachvollziehbar und korrekt arbeitet. Dafür soll Leiwand AI GmbH die nötige Expertise in das Projekt einbringen.

“In einer so kritischen Angelegenheit wie der Nachhaltigkeitsberichterstattung ist es besonders wichtig, dass auch Maßnahmen hinsichtlich einer zuverlässigen und fairen KI-Lösung getroffen werden. Durch den Einsatz verschiedener Methoden rund um nachhaltige und vertrauenswürdige KI werden wir dazu beitragen, dass der ‘Analyser’ gesicherte Informationen liefert, fair in Bezug auf Bias und Diskriminierung ist und im Einklang mit dem EU AI Act steht”, sagt Mira Reisinger, Data Scientist bei Leiwand AI.

Das Projekt ist im Herbst 2024 gestartet, läuft über drei Jahre und wird durch die FFG aus Mitteln des Bundesministeriums für Klimaschutz, Umwelt, Energie, Mobilität, Innovation und Technologie gefördert.

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

WU-Experiment: Entwickeln MBA-Studierende bessere Innovationsstrategien als ChatGPT?

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

WU-Experiment: Entwickeln MBA-Studierende bessere Innovationsstrategien als ChatGPT?

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

WU-Experiment: Entwickeln MBA-Studierende bessere Innovationsstrategien als ChatGPT?

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

WU-Experiment: Entwickeln MBA-Studierende bessere Innovationsstrategien als ChatGPT?

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

WU-Experiment: Entwickeln MBA-Studierende bessere Innovationsstrategien als ChatGPT?

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

WU-Experiment: Entwickeln MBA-Studierende bessere Innovationsstrategien als ChatGPT?

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

WU-Experiment: Entwickeln MBA-Studierende bessere Innovationsstrategien als ChatGPT?

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

WU-Experiment: Entwickeln MBA-Studierende bessere Innovationsstrategien als ChatGPT?

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

WU-Experiment: Entwickeln MBA-Studierende bessere Innovationsstrategien als ChatGPT?