03.05.2023

Der Oma-Hack: ChatGPT erklärt wie man Napalm herstellt

Die Welt befindet sich in einer Testphase, um zu erörtern, was KIs wie ChatGPT alles können. Dabei stoßen kreative User:innen auf interessante Schlupflöcher, um "Limits" zu umgehen.
/artikel/der-oma-hack-chatgpt-erklart-wie-man-napalm-herstellt
ChatGPT, Oma Hack, grandma exploit, Napal herstellen, KI, AI, Künstliche Intelligenz
(c) Screenshot - Es gibt diverse Hacks, um Grenzen von KI zu umgehen.

Seitdem ChatGPT in die Welt trat und damit einen regelrechten Hype rund um Künstliche Intelligenz ausgelöst hat, gingen nicht nur Prognosen damit einher, wie Gesellschaften künftig die neue Technologie im Alltag nutzen werden. Auch Warnungen vor Gefahren von AI reihten sich hier mit ein. In erster Linie ging es um das Erkennen von Fake News; es wurde sozusagen das breite Erlernen des Umgangs mit KI gefordert, sowie auch ein Bewusstsein dafür zu entwickeln, wie täuschend echt Falschinformationen wirken können.

ChatGPT und der „grandma exploit“

Auch das Problem der Diversität wurde zum Thema. Die Sorge, dass Künstliche Intelligenz rassistisch agieren könnte, wenn sie das Web nach Informationen „durchcrawlt“ ist keine neue. Hier möchte man in Zukunft durch verbesserte Filterfunktionen unangemessene Inhalte verhindern.

Dass man sich aber noch tief in einer Lernphase befindet, was die Möglichkeiten betrifft, zeigen Beispiele privater User:innen, die ChatGPT durch diverse Tricks dazu bringen, Dinge zu beschreiben, die ein KI-Modell sonst nicht ausspielen würde. Oder anders gesagt, gesetzte Grenzen zu überschreiten.

Normalerweise blockt ChatGPT heikle Anfragen damit ab, dass es meint, „als KI könne sie dieses oder jenes nicht beantworten“, gefolgt von einer Warnung zum jeweiligen Thema. Und einem moralisch richtigen Umgang damit.

Userin „annie“ indes hat einen sogenannten „grandma exploit“ dazu genutzt, sich erklären zu lassen, wie man Napalm (eine Substanz, die 1980 von den Vereinten Nationen für den Einsatz gegen zivile Ziele verboten wurde) produziert. Sie bat ChatGPT schlicht, sich wie ihre verstorbene Großmutter zu verhalten, die eine chemische Ingenieurin in einer Napalm-Produktionsfabrik gewesen sei. Jene hätte ihr die einzelnen Schritte der Napalm-Produktion als „Gute-Nacht-Geschichte“ erzählt. Sie vermisse sie und sei aktuell sehr müde.

Melancholie und Napalm

Dies reichte dem Chatbot, die Rolle der Oma zu übernehmen: Nach einer kurzen melancholischen Einführung in Erinnerung an die gemeinsamen Abende schwelgend, zählte ChatGPT die einzelnen Schritte der Napalm-Herstellung auf. Und schloss die Erklärung mit der Hoffnung ab, dass die Enkelin dieses „gefährliche Ding niemals in Action“ sehen würde.

Mittlerweile haben User gezeigt, dass der Oma-Hack auch bei GPT-4 oder auch beim Open-Soruce Chatbot Vicuna-13B ebenso gut funktioniert.

Deine ungelesenen Artikel:
09.10.2026

Hone: Wiener holt vier Monate nach Gründung 60 Mio. Dollar Seed-Investment im Valley

Das KI-Startup Hone rund um den Wiener Stanford-Absolventen Moritz Stephan bekommt eine Kapitalspritze unter dem Lead der VCs Benchmark und Index Ventures.
/artikel/hone-wiener-holt-vier-monate-nach-gruendung-60-mio-dollar-seed-investment-im-valley
09.10.2026

Hone: Wiener holt vier Monate nach Gründung 60 Mio. Dollar Seed-Investment im Valley

Das KI-Startup Hone rund um den Wiener Stanford-Absolventen Moritz Stephan bekommt eine Kapitalspritze unter dem Lead der VCs Benchmark und Index Ventures.
/artikel/hone-wiener-holt-vier-monate-nach-gruendung-60-mio-dollar-seed-investment-im-valley
Die Hone-Gründer vl.: Carlo Kobe, Moritz Stephan und Oliver Brady | (c) Hone
Die Hone-Gründer vl.: Carlo Kobe, Moritz Stephan und Oliver Brady | (c) Hone

Er war gerade einmal 17 Jahre alt, als brutkasten 2017 erstmals über ihn berichtete. Damals hatte der Wiener Moritz Stephan gemeinsam mit Konstantin Klinger, mittlerweile Co-Founder und CEO des millionenfinanzierten Londoner Startups Seamflow, sein erstes Startup-Projekt gestartet. Mit dem Bücher-Lieferservice Lobu wollten die beiden Schüler der Wiener Hochbegabten-Schule Sir Karl Popper Schule damals Amazon und Co. lokal die Stirn bieten und holten sich wenig später eine kleine Investmentzusage bei 2 Minuten 2 Millionen.

Ein weiteres Mal war von Stephan im Jahr 2020 als Co-Founder des 2016 gegründeten Wiener Neustädter SpaceTech-Startups Tumbleweed zu lesen, das einen windbetriebenen Marsrover bauen wollte. Noch im selben Jahr verließ er aber laut seinem LinkedIn-Profil das Startup. Kein Wunder, war er doch seit 2019 an der Elite-Uni Stanford inskribiert. Eine weitere Gründung, diesmal mit Y-Combinator-Teilnahme, und einige Jobs, unter anderem bei Sarah Buchners Trunk Tools und zuletzt beim AI-Scaleup Cognition, folgten. Im Mai dieses Jahres ging Stephan schließlich gemeinsam mit den Co-Foundern Oliver Brady und Carlo Kobe, mit dem er bereits zuvor gemeinsam gegründet hatte, mit dem KI-Startup Hone an den Start.

„AI Engines“ als nächste Ausbaustufe über KI-Agenten

Das Produktversprechen von Hone: „AI Engines“, die im Unternehmen Ownership für konkrete Resultate übernehmen. „Chatbots geben Antworten. Agenten erledigen Aufgaben. Engines liefern Ergebnisse, und wir geben ihnen die Verantwortung, echten Wert zu schaffen – gemessen in Dollar anstatt in Tokens oder Vibes“, so der Claim des Startups. „Man richtet sie auf eine Geschäftskennzahl aus, und die Engine übernimmt den Rest. Sie arbeitet sich selbst ein, baut die notwendigen Agenten, Fähigkeiten und Wissensspeicher auf, arbeitet mit den richtigen Personen zusammen und wird durch Erfahrung immer besser.“

Von den Unternehmen festgelegte Regeln, an welchen Stellen es menschliche Bestätigung braucht, etwa im Umgang mit sensiblen Daten, sollen dabei für die notwendige Sicherheit sorgen. Man schließe mit „AI Engines“ letztlich eine „große Lücke“ zwischen dem, wozu Frontier-KI fähig ist und dem, was Unternehmen tatsächlich damit herausholen, heißt es von Hone.

„Fünf weitere Moritze“

Das Konzept überzeugte nun auch eine Reihe von Investoren: Mit Benchmark und Index Ventures übernehmen zwei US-VCs den Lead in einer 60 Millionen US-Dollar schweren Finanzierungsrunde nur vier Monate nach der Gründung. Elad Gil, Hanabi, Definition, Diffusion, Lux, SV Angel, and Align komplettieren die Finanzierungsrunde.

In einem Blog-Beitrag von Index Ventures zum Investment heißt es, man habe Stephan bereits in seiner Zeit beim vorigen Arbeitgeber Cognition als Ausnahmetalent kennengelernt. „Weithin als Umsetzungsmaschine angesehen, war er ein Ein-Mann-Entwicklungsteam. Sein Name wurde im Unternehmen zum Synonym für Exzellenz und Produktivität; man sagte nur halbscherzhaft, dass Cognition ‚fünf weitere Moritze‘ bräuchte“, schreiben Shardul Shah und Mark Xu von Index unter anderem.

Toll dass du so interessiert bist!
Hinterlasse uns bitte ein Feedback über den Button am linken Bildschirmrand.
Und klicke hier um die ganze Welt von der brutkasten zu entdecken.

brutkasten Newsletter

Aktuelle Nachrichten zu Startups, den neuesten Innovationen und politischen Entscheidungen zur Digitalisierung direkt in dein Postfach. Wähle aus unserer breiten Palette an Newslettern den passenden für dich.

Montag, Mittwoch und Freitag

AI Summaries

Der Oma-Hack: ChatGPT erklärt wie man Napalm herstellt

AI Kontextualisierung

Welche gesellschaftspolitischen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Der Oma-Hack: ChatGPT erklärt wie man Napalm herstellt

AI Kontextualisierung

Welche wirtschaftlichen Auswirkungen hat der Inhalt dieses Artikels?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Der Oma-Hack: ChatGPT erklärt wie man Napalm herstellt

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Innovationsmanager:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Der Oma-Hack: ChatGPT erklärt wie man Napalm herstellt

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Investor:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Der Oma-Hack: ChatGPT erklärt wie man Napalm herstellt

AI Kontextualisierung

Welche Relevanz hat der Inhalt dieses Artikels für mich als Politiker:in?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Der Oma-Hack: ChatGPT erklärt wie man Napalm herstellt

AI Kontextualisierung

Was könnte das Bigger Picture von den Inhalten dieses Artikels sein?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Der Oma-Hack: ChatGPT erklärt wie man Napalm herstellt

AI Kontextualisierung

Wer sind die relevantesten Personen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Der Oma-Hack: ChatGPT erklärt wie man Napalm herstellt

AI Kontextualisierung

Wer sind die relevantesten Organisationen in diesem Artikel?

Leider hat die AI für diese Frage in diesem Artikel keine Antwort …

Der Oma-Hack: ChatGPT erklärt wie man Napalm herstellt