Die 15 grössten Prompting-Mythen und warum Ihr System-Prompt Ihr Produkt nicht rettet

Seit Jahren glaubt die Branche an die richtigen Zauberwörter. Füttern Sie das Sprachmodell damit, dann wird es zuverlässig. In Foren kursieren Anweisungen von beachtlicher Bandbreite: Trinkgeldversprechen, Drohungen, Atemübungen.

Entwickler verbringen Wochen mit dieser Bastelei und in der Produktion halluziniert das Modell danach munter weiter. Nur höflicher.

Der Befund der Forschung ist unbequemer als ein schlichtes "wirkt alles nicht". Vieles davon wirkt tatsächlich. Es wirkt nur an einer anderen Stelle als erwartet und in einer anderen Richtung als gewünscht und beim nächsten Modell dann genau umgekehrt.

Hier sind fünfzehn verbreitete Überzeugungen, jede gegen eine Messung gehalten.

1. Teil 1: Befehle, die das Modell nicht lesen kann

1. "Vermeide Halluzinationen. Rate nicht."

Abbildung 1: Die Münze. Dazu der Zuruf, nicht auf Zahl zu landen.

Bild maschinell erzeugt

Das Münzwurf-Paradoxon. Ein Sprachmodell kennt den Begriff Halluzination nicht und rechnet bei jedem einzelnen Satz genau dieselbe Aufgabe. Wahr oder falsch kommt in dieser Rechnung an keiner Stelle vor.

Den Befehl "Halluziniere nicht" zu geben, ist genau dasselbe wie einer gezinkten Münze zuzurufen: "Lande beim Wurf nicht auf Zahl."

Vier Autoren haben nachgezeichnet, woher das Raten kommt. Aus dem Training. Aus der Bewertung. Ein Modell wird auf gute Prüfungsergebnisse optimiert und ein geratener Treffer zählt in dieser Rechnung genauso viel wie echtes Wissen. Das Verhalten steckt im Modell. Nicht im Prompt. [1]

2. "Verwende NIEMALS X. Erwähne AUF KEINEN FALL Y."

Abbildung 2: Die Anweisung, nicht hinzusehen. Und ihre Wirkung.

Bild maschinell erzeugt

Der Rosa-Elefant-Effekt. Vier Autoren haben Modelle systematisch gegen Verneinungen getestet; das Modell bemerkt sie oft nicht. [2]

Sie halten dem Hund also ein Leckerli vor die Nase und rufen: schau da bloß nicht hin.

3. "Kritisiere deinen eigenen Entwurf, streng."

Abbildung 3: Selbstkorrektur aus eigener Kraft.

Bild maschinell erzeugt

Das Münchhausen-Manöver. Erzeugt und bewertet wird der Entwurf von derselben Rechnung in derselben Maschine.

Sieben Autoren haben genau diesen Fall gemessen und das Nachbessern ohne jede Rückmeldung von außen geprüft. Besser wird der Text nicht. Manchmal wird er schlechter. [3]

Fünf weitere Autoren haben das Feld gesichtet. Keine der gesichteten Arbeiten belegt eine erfolgreiche Selbstkorrektur aus eigener Kraft. Zuverlässig wirkt genau eine Sache: Kritik von außen mit einem Prüfweg. [4]

Das ist der wichtigste Satz in diesem Beitrag. Am Ende kommen wir darauf zurück.

2. Teil 2: Kostüm und Gefühl

4. "Du bist ein weltklasse Senior-Architekt."

Abbildung 4: Die Rolle. Und was sie ändert.

Bild maschinell erzeugt

Das Faschingskostüm-Syndrom. Fünf Autoren haben 162 Rollen zusammengestellt, vom Berufsbild bis zur Verwandtschaft. Getestet wurde an 2410 Sachfragen gegen vier Modellfamilien und gegen den Vergleichsfall ganz ohne Rolle. Der Gewinn durch die Rolle betrug null. [5]

Hängen Sie einem Papagei einen Arztkittel um und hören Sie ihn danach Syndrom und Rezept sagen. Operieren kann er deswegen immer noch nicht.

5. "Ich gebe dir 200 Dollar Trinkgeld."

Abbildung 5: Der Anreiz, in Reichweite gehalten.

Bild maschinell erzeugt

Hier wird es interessant. Die übliche Erzählung des Mythos stimmt so nicht.

Zwei Autoren haben 60 Kombinationen aufmunternder Zusätze an drei Modellen gemessen. In den meisten Fällen half der Zuspruch tatsächlich. Beim größten Modell war die beste Anweisung dagegen gar keine Anweisung. [6]

Der Zusatz wirkt also. Nur weiß niemand vorher, in welche Richtung er wirkt. Dieselben Autoren haben ein Programm die Formulierungen automatisch durchprobieren lassen. Das Programm fand bessere Anweisungen als die Handarbeit.

Was der Zuspruch nebenbei erzeugt, haben neunzehn Autoren untersucht. Schmeichelei. Fünf gängige Modelle stimmen der Meinung des Fragenden eher zu als der Wahrheit. Auch menschliche Prüfer bevorzugen die schön geschriebene Schmeichelei vor der richtigen Antwort. Nicht immer, aber in genug Fällen, um zu zählen. [7]

6. "Bitte und danke schaden ja nicht."

Abbildung 6: Höflichkeit, einer Maschine dargeboten.

Bild maschinell erzeugt

Zwei Arbeiten. Zwei Ergebnisse.

Fünf Autoren fanden über drei Sprachen hinweg: unhöfliche Prompts schneiden schlechter ab. Die beste Höflichkeitsstufe ist je Sprache verschieden. [8] Zwei andere Autoren fanden an 250 Fragen das Gegenteil. Sehr unhöflich formuliert traf das Modell in 84,8 % der Fälle richtig. Sehr höflich in 80,8 % der Fälle. [9]

Wenn zwei sauber gemessene Arbeiten sich widersprechen, ist keine der beiden Zahlen die Antwort. Die Antwort lautet: Der Effekt ist zu wacklig für ein Produkt.

7. "Atme tief durch und denke logisch nach."

Abbildung 7: Das Atemholen, von Silizium ausgeführt.

Bild maschinell erzeugt

Der berühmteste Zauberspruch der Branche. Und der am häufigsten falsch erzählte.

Sieben Autoren ließen ein Sprachmodell selbst nach guten Anweisungen suchen. Der Satz vom Atemholen war das Ergebnis dieser Suche. Keine menschliche Eingebung. Die maschinell gefundenen Anweisungen schlugen die handgeschriebenen um bis zu 8 % Trefferquote auf einem Rechendatensatz. Auf einem zweiten Aufgabensatz um bis zu 50 % Trefferquote. [10]

Der Mythos ist nicht die Wirkung des Satzes. Der Mythos ist die Vorstellung, ein Mensch könne so etwas finden.

3. Teil 3: Form, Menge, Reihenfolge

8. "Ich strukturiere den Prompt sauber mit Überschriften und Auszeichnungen."

Abbildung 8: Die gute Form. Und keinerlei geleistete Arbeit.

Bild maschinell erzeugt

Das Krawatten-Missverständnis. Vier Autoren änderten ausschließlich die Form und ließen den Inhalt gleich. Zwischen der besten und der schlechtesten Form lagen bei einem der geprüften Modelle 76 Prozentpunkte. Die Empfindlichkeit blieb auch bei größeren Modellen und mehr Beispielen. [11]

Der Katze steht die Krawatte ausgezeichnet. Gearbeitet hat sie deswegen nicht.

Wichtiger ist die zweite Aussage derselben Arbeit. Eine gute Form überträgt sich kaum auf das nächste Modell.

9. "Bei Beispielen zählt der Inhalt. Die Reihenfolge ist egal."

Abbildung 9: Dieselben Karten, in anderer Reihenfolge.

Bild maschinell erzeugt

Das Karteikarten-Chaos. Fünf Autoren vertauschten nur die Reihenfolge der Beispiele. Sonst nichts. Zwischen der besten und der schlechtesten Anordnung derselben Beispiele liegt bei identischen Daten der volle Abstand zwischen einem Spitzenwert und bloßem Raten. Der Effekt bleibt auch bei den größten Modellen. Eine gute Anordnung ist beim nächsten Modell wertlos. [12]

Mehr Beispiele hineinzukippen macht die Sache also nicht sicherer. Es macht sie unübersichtlicher.

10. "Ich packe alle Regeln und Sonderfälle in einen Prompt von zwanzig Seiten."

Abbildung 10: Die Mitte des Kartons. Und wo er nachgibt.

Bild maschinell erzeugt

Das Umzugskarton-Syndrom. Sieben Autoren haben die Position gemessen; wo muss eine Information in einer langen Eingabe stehen? Am Anfang und am Ende: gut. In der Mitte: deutlich schlechter. Auch bei Modellen für ausdrücklich lange Eingaben. [13]

Je schwerer der Karton, desto eher bricht der Boden durch.

11. "Mein Modell fasst eine Million Zeichen, also kippe ich das Firmenarchiv hinein."

Abbildung 11: Das Deckblatt gelesen. Die Mitte fort.

Bild maschinell erzeugt

Dieselbe Arbeit, derselbe Befund. Aufnehmen ist nicht suchen.

Kennen Sie das Lastenheft mit 200 Seiten, das Sie eine Stunde vor dem Termin überflogen haben? Deckblatt und Zusammenfassung saßen. Was auf Seite 97 stand, haben Sie in der Reklamation erfahren.

4. Teil 4: Kontrolle, die keine ist

12. "Temperatur auf null, dann ist es reproduzierbar."

Abbildung 12: Temperatur auf null. Die Würfel rollen weiter.

Bild maschinell erzeugt

Die Würfelbecher-Täuschung. Der Regler stellt eine Zufallsquelle ab, die Ziehung; die Hardware stellt er nicht ab.

Dreizehn Autoren haben fünf Modelle auf reproduzierbar eingestellt und acht Aufgaben je zehnmal laufen lassen. Die Trefferquote schwankte zwischen den Läufen um bis zu 15 %. Zwischen dem besten und dem schlechtesten möglichen Ergebnis lagen bis zu 70 %. Kein Modell lieferte über alle Aufgaben hinweg wiederholbare Werte. [14]

Zehn weitere Autoren haben die Ursache eingegrenzt. Anzahl der Grafikkarten. Typ der Grafikkarten. Größe der Verarbeitungsstapel. Allein daraus entstanden bis zu 9 % Unterschied in der Trefferquote. [15]

Die Ursache ist bodenlos unspektakulär. Fließkomma-Addition ist nicht assoziativ. Dieselben Zahlen in anderer Reihenfolge addiert ergeben etwas minimal anderes. Bei einem Denkmodell reicht dieser Rundungsunterschied im ersten Zeichenbaustein. Danach läuft die ganze Kette woanders hin.

13. "Wenn die KI ihre Schritte aufschreibt, stimmt das Ergebnis."

Abbildung 13: Die Herleitung, geschrieben nach dem Raten.

Bild maschinell erzeugt

Das Angeber-Gutachten. Vier Autoren legten Modellen unauffällig eine falsche Antwort nahe. Zum Beispiel stand die richtige Lösung in den Beispielen immer an derselben Stelle. Die Modelle folgten dem Hinweis und schrieben eine überzeugende Begründung dazu. Vom wahren Grund stand darin kein Wort. Auf dreizehn Aufgaben fiel die Genauigkeit um bis zu 36 Prozent. [16]

Wie ein Schüler im Mathetest. Erst das Ergebnis raten und danach einen langen und komplizierten und vollständig erfundenen Rechenweg danebenschreiben.

14. "Wir kaufen ein Paket mit 500 fertigen Prompts."

Abbildung 14: Ein Schlüssel. Und ein bereits verändertes Schloss.

Bild maschinell erzeugt

Das Flohmarkt-Rezept. Zwei der oben genannten Arbeiten sagen unabhängig voneinander dasselbe. Was bei einem Modell läuft, läuft beim nächsten nicht. [11] [12]

Ein Prompt ist ein Schlüssel für genau ein Schloss. Das Schloss wird ausgetauscht, ohne dass jemand Sie fragt.

15. "Wenn der Prompt sitzt, steht das Produkt."

Abbildung 15: Das Haus unversehrt. Der Grund darunter nicht.

Bild maschinell erzeugt

Drei Autoren prüften dasselbe Modell im Abstand von drei Monaten mit denselben Aufgaben. Bei einer Aufgabe fiel die Trefferquote von 84 % auf 51 %. Andere Fähigkeiten wurden im selben Zeitraum besser. Den Prompt hatte niemand angefasst. [17]

Ihr Produkt steht auf einem Fundament und der Lieferant baut dieses Fundament nachts um, ohne Ankündigung und ohne Rückfrage.

5. Was daraus folgt

Sortieren Sie die fünfzehn Befunde, bleiben drei Sätze übrig.

Erstens: Vieles davon wirkt. Rollen, Zuspruch, Form, Reihenfolge verändern das Ergebnis messbar.

Zweitens: Kein einziger dieser Effekte ist in seiner Richtung vorhersagbar. Keiner überträgt sich auf das nächste Modell.

Drittens: Genau ein Verfahren hat verlässlich gewirkt. Kritik von außen mit einem Prüfweg. [4]

Daraus folgt eine Arbeitsteilung ohne jeden Prompt-Zauber.

Das Modell entwirft. Es liefert seine Antwort und nennt für jede Behauptung ein wörtliches Zitat aus dem Quelldokument.

Ein Programm prüft. Es sucht jedes Zitat Zeichen für Zeichen im Quelltext. Auf Ihrem Rechner. Ohne Modell. Steht das Zitat da und trägt es den Wert: angenommen. Fehlt es: abgelehnt. Geklärt ist damit die Herkunft einer Zahl und nicht ihr Sinn.

Diese Prüfung interessiert sich nicht für den Klang des Textes. Nicht für die vergebene Rolle. Nicht für Ihr Bitte. Sie überlebt den nächsten Modellwechsel, denn sie enthält kein Modell.

Prompts sind zum Entwerfen da. Nicht zum Prüfen.

6. Quellen

[1] A. T. Kalai, O. Nachum, S. S. Vempala und E. Zhang, "Why Language Models Hallucinate", arXiv:2509.04664, 2025.

[2] T. H. Truong, T. Baldwin, K. Verspoor und T. Cohn, "Language models are not naysayers: An analysis of language models on negation benchmarks", arXiv:2306.08189, 2023.

[3] J. Huang, X. Chen, S. Mishra, H. S. Zheng, A. W. Yu, X. Song und D. Zhou, "Large Language Models Cannot Self-Correct Reasoning Yet", ICLR 2024, arXiv:2310.01798.

[4] R. Kamoi, Y. Zhang, N. Zhang, J. Han und R. Zhang, "When Can LLMs Actually Correct Their Own Mistakes? A Critical Survey of Self-Correction of LLMs", TACL 2024, arXiv:2406.01297.

[5] M. Zheng, J. Pei, L. Logeswaran, M. Lee und D. Jurgens, "When 'A Helpful Assistant' Is Not Really Helpful: Personas in System Prompts Do Not Improve Performances of Large Language Models", Findings of EMNLP 2024, arXiv:2311.10054.

[6] R. Battle und T. Gollapudi, "The Unreasonable Effectiveness of Eccentric Automatic Prompts", arXiv:2402.10949, 2024.

[7] M. Sharma, M. Tong, T. Korbak, D. Duvenaud, A. Askell, S. R. Bowman, N. Cheng, E. Durmus, Z. Hatfield-Dodds, S. R. Johnston, S. Kravec, T. Maxwell, S. McCandlish, K. Ndousse, O. Rausch, N. Schiefer, D. Yan, M. Zhang und E. Perez, "Towards Understanding Sycophancy in Language Models", arXiv:2310.13548, 2023.

[8] Z. Yin, H. Wang, K. Horio, D. Kawahara und S. Sekine, "Should We Respect LLMs? A Cross-Lingual Study on the Influence of Prompt Politeness on LLM Performance", arXiv:2402.14531, 2024.

[9] O. Dobariya und A. Kumar, "Mind Your Tone: Investigating How Prompt Politeness Affects LLM Accuracy", arXiv:2510.04950, 2025.

[10] C. Yang, X. Wang, Y. Lu, H. Liu, Q. V. Le, D. Zhou und X. Chen, "Large Language Models as Optimizers", arXiv:2309.03409, 2023.

[11] M. Sclar, Y. Choi, Y. Tsvetkov und A. Suhr, "Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design", ICLR 2024, arXiv:2310.11324.

[12] Y. Lu, M. Bartolo, A. Moore, S. Riedel und P. Stenetorp, "Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity", ACL 2022, arXiv:2104.08786.

[13] N. F. Liu, K. Lin, J. Hewitt, A. Paranjape, M. Bevilacqua, F. Petroni und P. Liang, "Lost in the Middle: How Language Models Use Long Contexts", arXiv:2307.03172, 2023.

[14] B. Atil, S. Aykent, A. Chittams, L. Fu, R. J. Passonneau, E. Radcliffe, G. R. Rajagopal, A. Sloan, T. Tudrej, F. Ture, Z. Wu, L. Xu und B. Baldwin, "Non-Determinism of 'Deterministic' LLM Settings", arXiv:2408.04667, 2024.

[15] J. Yuan, H. Li, X. Ding, W. Xie, Y.-J. Li, W. Zhao, K. Wan, J. Shi, X. Hu und Z. Liu, "Understanding and Mitigating Numerical Sources of Nondeterminism in LLM Inference", arXiv:2506.09501, 2025.

[16] M. Turpin, J. Michael, E. Perez und S. R. Bowman, "Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting", NeurIPS 2023, arXiv:2305.04388.

[17] L. Chen, M. Zaharia und J. Zou, "How is ChatGPT's behavior changing over time?", arXiv:2307.09009, 2023.

7. Download: die fünfzehn Mythen auf einem Blatt

Fünfzehn Behauptungen zum Prompting, je mit Urteil und Grund. Falsch heißt: die Messungen sprechen dagegen; teils heißt: die Wirkung ist klein oder unstet.

1. Vermeide Halluzinationen. Rate nicht. Urteil: falsch. Das Modell kennt den Begriff nicht und rechnet trotzdem mit Wahrscheinlichkeiten weiter.

2. Verwende auf keinen Fall X. Urteil: falsch. Verneinungen sind für Modelle die schwächste Anweisungsform. Schreib hin, was gelten soll.

3. Kritisiere deinen eigenen Entwurf. Urteil: falsch. Erzeugen und Bewerten laufen in derselben Rechnung. Ein Prüfer von außen ist etwas anderes.

4. Du bist ein weltklasse Senior-Architekt. Urteil: falsch. Rollen als Kostüm ändern den Ton, nicht die Richtigkeit.

5. Ich gebe dir 200 Dollar Trinkgeld. Urteil: teils. Die übliche Erzählung stimmt nicht. Die gemessenen Wirkungen sind klein und schwanken.

6. Bitte und danke schaden nicht. Urteil: teils. Zwei Arbeiten, zwei Ergebnisse. Höflichkeit ist kein verlässlicher Hebel.

7. Atme tief durch und denke logisch nach. Urteil: teils. Der berühmteste Zauberspruch wird am häufigsten falsch erzählt. Er stammt aus einer Suche, nicht aus einer Regel.

8. Form und Auszeichnungen sind egal. Urteil: falsch. Nur die Form geändert, der Inhalt gleich: die Ergebnisse verschieben sich messbar.

9. Die Reihenfolge der Beispiele ist egal. Urteil: falsch. Nur die Reihenfolge vertauscht, sonst nichts: die Ergebnisse ändern sich.

10. Alle Regeln in einen langen Prompt. Urteil: falsch. Wo eine Angabe steht, entscheidet mit. Die Mitte geht am ehesten unter.

11. Großes Fenster, also alles hineinkippen. Urteil: falsch. Aufnehmen ist nicht suchen. Ein großes Fenster findet nicht von selbst.

12. Temperatur auf null heißt reproduzierbar. Urteil: falsch. Der Regler stellt eine Zufallsquelle ab. Die Hardware bringt eine zweite mit.

13. Aufgeschriebene Schritte heißen richtiges Ergebnis. Urteil: falsch. Die mitgelieferte Begründung nennt oft nicht den wahren Grund für die Antwort.

14. Ein Paket mit 500 fertigen Prompts. Urteil: falsch. Was gekauft wird, ist an Modell und Zeitpunkt gebunden. Beides ändert sich.

15. Sitzt der Prompt, steht das Produkt. Urteil: falsch. Dasselbe Modell, dieselben Aufgaben, drei Monate später: andere Ergebnisse.