Das Maulwurf-Spiel im Prompt Engineering: warum Reparieren nicht hält

Haben Sie schon einmal stundenlang an einem KI-Prompt gefeilt und einen bestimmten Fehler endlich zum Verschwinden gebracht? Und dann bei der nächsten Aufgabe an ganz anderer Stelle ein Versagen gefunden?

Willkommen beim Maulwurf-Spiel des Prompt Engineerings.

Im klassischen Programmieren bleibt eine Fehlerbehebung dort, wo man ihr folgen kann. Wer eine Bedingung if x < 0 anpasst, sieht die Wirkung auf den Rest der Anwendung und kann sie prüfen. Wer versucht, Sprachmodelle über Prompts genauso zu reparieren, stößt auf ein gemessenes Phänomen. Sie reagieren äußerst empfindlich auf kleine Änderungen am Kontext. Im Prompt ist die Ursache dafür nicht zu sehen.

1. Was die Forschung misst

Dass das Feilen an Prompts unvorhersehbare Ergebnisse liefert, ist belegt.

Format schlägt Inhalt. Bereits das Ändern der Formatierung eines Prompts, ohne den Sinn anzutasten, verschiebt die Genauigkeit eines Modells um bis zu 76 Prozentpunkte. Größere Modelle verhinderten das nicht, mehr Beispiele auch nicht. [1]

Eigenleben bei festen Einstellungen. Fünf Modelle, acht Aufgaben, zehn Läufe je Aufgabe, alle auf wiederholbare Ausgabe eingestellt. Die Genauigkeit schwankte zwischen den Läufen um bis zu 15 %. Kein einziges Modell lieferte über alle Aufgaben hinweg zweimal denselben Wert. [2]

Die Reihenfolge entscheidet. Dieselben Beispiele in vertauschter Reihenfolge lassen die Trefferquote zwischen Zufallsniveau und Bestwert schwanken. [3]

Der Grund liegt in der Bauart. Ein Modell dieser Klasse schickt den Prompt durch viele Schichten Rechnerei und endet mit einer Punktzahl für jedes mögliche nächste Wort. [4] Kleine Änderungen am Eingang verschieben diese Punktzahlen. Um wie viel, steht nicht im Prompt.

Auch die Rechnerei selbst wiederholt sich nicht. Zehn Autoren führten das auf den Umgang des Rechenwerks mit Kommazahlen zurück. Bei begrenzter Genauigkeit ist die Addition nicht assoziativ. Die Reihenfolge der Zwischenergebnisse ändert damit das Ergebnis. Dafür genügen die Stapelgröße, die Anzahl der Rechenwerke und ihr Typ. Ohne jedes Ziehen schwankte ein Modell so um bis zu 9 % in der Genauigkeit. [5]

Was zwischen dem Prompt und der Antwort genau passiert, ist nicht aufgeklärt. Belegt ist nur eines: Kleine Änderungen am Eingang machen große Unterschiede am Ausgang. Wer einen Prompt gegen einen beobachteten Fehler anpasst, dreht an einer Stellschraube mit unbekannter Wirkung auf alle anderen Dokumente. Er repariert den Fehler im vorliegenden Fall und verändert unbemerkt das Verhalten auf vielen anderen.

2. Vertrauen durch Prüfung statt Hoffnung durch Prompts

Da die Reaktion eines Modells auf einen Prompt unberechenbar bleibt, führt das Ausbessern von Prompts in eine Endlosschleife.

Die ingenieurmäßige Antwort ist nicht der Versuch, den Prompt unfehlbar zu machen. Sie ist die Trennung von Entwurf und Prüfung:

1. Das Modell entwirft. Es liefert seine Antwort und muss für jeden Wert ein wörtliches Zitat nennen.

2. Ein lokales Skript prüft. Es sucht jedes Zitat im Quelldokument auf Ihrem Rechner.

Steht das Zitat im Quelltext und trägt es den Wert, lautet das Urteil ACCEPTED. Fehlt es, lautet es REJECTED. Geklärt ist damit die Herkunft einer Zahl und nicht ihr Sinn. Genau die Herkunft klärt ein Prompt überhaupt nicht. Wie sicher die Antwort klang und welcher Prompt sie erzeugt hat, spielt keine Rolle.

3. Quellen

[1] M. Sclar, Y. Choi, Y. Tsvetkov und A. Suhr, "Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design", ICLR 2024, arXiv:2310.11324.

[2] B. Atil, S. Aykent, A. Chittams, L. Fu, R. J. Passonneau, E. Radcliffe, G. R. Rajagopal, A. Sloan, T. Tudrej, F. Ture, Z. Wu, L. Xu und B. Baldwin, "Non-Determinism of 'Deterministic' LLM Settings", arXiv:2408.04667, 2024.

[3] Y. Lu, M. Bartolo, A. Moore, S. Riedel und P. Stenetorp, "Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity", ACL 2022, arXiv:2104.08786.

[4] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser und I. Polosukhin, "Attention Is All You Need", NeurIPS 2017, arXiv:1706.03762.

[5] J. Yuan, H. Li, X. Ding, W. Xie, Y.-J. Li, W. Zhao, K. Wan, J. Shi, X. Hu und Z. Liu, "Understanding and Mitigating Numerical Sources of Nondeterminism in LLM Inference", arXiv:2506.09501, 2025.