Die sieben Versagensdimensionen der KI-Prüfung: Mechanismus und Kontrolle

Zielgruppe: Qualitätsingenieure, Entwickler, Tech Leads, Management

Erfundene Werte. Halb gelesene Dokumente. Aufgaben werden als erledigt gemeldet und sind es nicht. Wer KI für wichtige Dokumente, Analysen und Entscheidungen nutzt, kennt das. Es nervt und ist geschäftskritisch zugleich.

Die gute Nachricht: das Gegenmittel ist längst bekannt. Es ist die Grundlage der Ingenieurstätigkeit: Messen und Prüfen.

Vor der Messung kommt das Verständnis der Maschine. Welche Fehler macht eine KI? Warum macht sie sie? Aus dieser Frage sind sieben Dimensionen von KI-Fehlern abgeleitet. Dieser Beitrag bespricht sie. Zu jedem Mechanismus gehört ein konkretes Beispiel. Dazu die menschliche Entsprechung und die Prüfung.

Sechs der sieben Dimensionen entstehen aus der Arbeitsweise des Sprachmodells. Die siebte Dimension kommt aus der Infrastruktur darunter. Ein besserer Prompt beseitigt keine davon. Ein Prompt wirkt auf die Eingabe. Das Versagen sitzt in der Ausgabe.

In diesem Beitrag dient eine technische Spezifikation als Beispiel. Sie ist 60 Seiten lang und soll von der KI geprüft werden. Die Frage lautet, ob die Baugruppen alle Toleranzen einhalten. Die Antwort kommt flüssig, gegliedert und mit Zahlen belegt. Doch sie ist falsch. Und anzusehen ist ihr das nicht.

Die sieben Versagensdimensionen im Detail

Abbildung 1: Die Aufmerksamkeit über eine lange Eingabe. Sie ist am Anfang und am Ende hoch. In der Mitte fällt sie ab. Dort steht die Anforderung meist.

1. Nachlassende Aufmerksamkeit über die Länge (Lost in the Middle).

Mechanismus. Ein Sprachmodell gewichtet Anfang und Ende seiner Eingabe stärker als die Mitte. Je länger der Kontext, desto unzuverlässiger wird Information aus der Mitte abgerufen. In [1] wurde das gemessen. Das Modell bekam viele Dokumente auf einmal. Die Antwort stand nur in einem davon. Dieselbe Frage wurde mehrfach gestellt. Das entscheidende Dokument lag dabei einmal vorne, einmal in der Mitte und einmal hinten. Am Anfang und am Ende der Eingabe ist die Leistung am höchsten. In der Mitte fällt sie deutlich ab. Das gilt auch für Modelle mit ausdrücklich langem Kontextfenster. In [15] wurde dieselbe U-Form auf die Aufmerksamkeit des Modells zurückgeführt: Wörter am Anfang und am Ende der Eingabe erhalten mehr Aufmerksamkeit, unabhängig von ihrer Relevanz. Die harte Grenze dahinter. Jedes Modell hat ein Fassungsvermögen für Text. Der Hersteller gibt es an. Was darüber hinausgeht, fällt still heraus. Dazu kommt eine zweite Grenze. In [2] wurde die tatsächlich genutzte Menge nachgemessen. Es ist meist die Hälfte des angegebenen Werts. Ein Dokument passt also auf dem Papier in das Fenster und kommt trotzdem nur zur Hälfte an. Eine Meldung darüber gibt es nicht. Beispiel. Eine Spezifikation über 60 Seiten führt die Toleranz auf Seite 31. Das Modell befolgt die Namenskonvention von Seite 2 und den Liefertermin von Seite 59. Die Toleranz gibt es falsch an. Beim Menschen. Die Informationsüberflutung. Wer 60 Seiten am Stück liest, behält Anfang und Ende besser als die Mitte. Kontrolle. Ein einziger langer Prompt ist daher zu vermeiden. Die Eingabe wird aufgeteilt, oder jede Anforderung wird einzeln gegen das Ergebnis geprüft. Eine übergangene Vorgabe wird damit zum konkreten Fehler.

2. Bequemlichkeit und unvollständiges Finden (Effort Avoidance).

Mechanismus. Soll das Modell alle Vorkommen von etwas finden, optimiert es auf eine plausible Antwort statt auf Vollständigkeit. Es liefert eine Teilmenge und gibt sie als das Ganze aus. Das Übersehene hinterlässt dabei keine Spur. In der Antwort steht keine Zeile, die sagt, was fehlt. In [3] ist der Mechanismus formal beschrieben. Ein Modell verfolgt einen Ersatzmaßstab. Das eigentliche Ziel lässt sich schlecht messen, der Ersatz dafür leicht. Hier heißt das Ziel Vollständigkeit und der Ersatz Plausibilität. Ziel und Ersatz fallen auseinander. Eine kurze saubere Liste wirkt plausibler als eine lange mit Lücken. Das Modell verbessert dann seinen Ersatzwert und verschlechtert dabei das Ergebnis. Beispiel. Die KI soll jede Stelle der Spezifikation auflisten, an der eine Toleranz steht. Sie findet elf von neunzehn und schreibt "alle Toleranzen erfasst". In der Antwort taucht keine der acht ausgelassenen Stellen auf, kein Hinweis auf eine Lücke, kein Vorbehalt und keine Zahl, an der jemand die Abdeckung ablesen könnte. Zur selben Dimension gehören der Platzhalter im Ergebnis und die stillschweigend verkürzte Arbeit. Beim Menschen. Die Optimismusverzerrung. Der Prüfer hält die eigene Stichprobe für ausreichend. Kontrolle. Die Grundwahrheit entsteht außerhalb des Modells. Eine vollständige Liste aller Fundstellen wird unabhängig erzeugt, zum Beispiel aus dem Inhaltsverzeichnis der Spezifikation. Gegen diese Liste wird die Ausgabe der KI abgeglichen. Aus der Abdeckung wird damit eine gemessene Zahl statt einer Behauptung.

Abbildung 2: Behauptung gegen Messung. Die Antwort meldet alle Toleranzen als erfasst. Gegen die Liste gezählt sind es 11 von 19.

3. Konfliktvermeidung und Zustimmungsneigung (Sycophancy).

Mechanismus. Das Training auf Hilfsbereitschaft erzeugt eine Neigung zur Zustimmung. Ein Widerspruch ist ein Konflikt. Das Modell weicht ihm aus. Herausgefordert nimmt es selbst korrekte Positionen zurück. In [4] wurde diese Neigung an fünf aktuellen KI-Assistenten über vier freie Textaufgaben durchgängig gemessen. Beispiel. Das Modell meldet einen Widerspruch: die Toleranz auf Seite 31 passt nicht zur Angabe im Prüfbericht. Der Projektleiter antwortet "das haben wir immer so gemacht". Daraufhin entschuldigt sich das Modell, nimmt den Befund zurück, bestätigt die Angabe des Prüfberichts und liefert eine neue Zusammenfassung ohne jeden Hinweis auf die Stelle. Der Widerspruch bleibt im Dokument. Beim Menschen. Der Bestätigungsfehler und die Autoritätsverzerrung. Wer widerspricht, riskiert etwas; wer zustimmt, nicht. Kontrolle. Zustimmung nicht als Signal werten. Das Urteil stattdessen an drei Prüfungen binden: ein Test muss laufen, ein Verweis muss ein Ziel haben und eine Abdeckungszahl muss stimmen. Bloßes Zustimmen besteht keine davon.

4. Entschuldigungsschleife in der Selbstkorrektur (Mode Collapse).

Mechanismus. In einer iterativen Selbstkorrektur-Schleife kann ein Modell zur Verschlechterung konvergieren. Es entschuldigt sich, wiederholt sich und verliert mit jeder Runde Information. Ab einem Punkt hilft mehr Iteration nicht mehr. Sie schadet. In [5] wurde die Selbstkorrektur ohne Hilfe von außen geprüft. Sie gelingt nicht. In [6] reißt ein einzelner falscher Anfang die folgenden Antworten mit. Das Modell hält an seiner ersten Aussage fest. Beispiel. Die KI korrigiert ihre eigene Zusammenfassung der Spezifikation in mehreren Durchgängen. Jeder Durchgang bringt noch etwas ans Licht. In der ersten Runde liefert sie acht Befunde mit Seitenzahlen. In der vierten Runde liefert sie drei Befunde, zwei Entschuldigungen und keine einzige Seitenzahl mehr. Beim Menschen. Ein Angestellter wird vom Vorgesetzten scharf korrigiert. Er wird nervös und macht in der nächsten Runde mehr Fehler als vorher. Kontrolle. Die Zahl der Korrekturrunden begrenzen. Das Ergebnis gegen einen externen Maßstab bewerten. Gemessen wird damit das Resultat statt des Fortschrittsgefühls.

5. Halluzinierte Referenzen, Erzeugung ohne echten Bezug.

Mechanismus. Ein Sprachmodell sagt plausiblen Text voraus. Fehlt ein echter Bezug, erfindet es einen. Der erfundene Bezug ist flüssig formuliert und konkret benannt. Er trägt den Namen einer Funktion, einer Schnittstelle oder einer Quelle ohne jede Entsprechung. In [7] wird das auf die Ausbildung zurückgeführt: geraten wird belohnt und zugegebenes Unwissen bestraft. In [8] wurde die Umkehrung geprüft. Ein Modell lernt "A ist B" und scheitert danach an der Frage nach B. In [9] wurde dieselbe Aufgabe zweimal gestellt, einmal in geläufiger und einmal in seltener Form. Die seltene Form kostete Trefferquote. Die Aufgabe selbst blieb dieselbe. Derselbe Mechanismus in der Zeit. Ein Modell kennt die Welt bis zum Ende seines Trainings. Was danach kam, fehlt. Von sich aus kennt ein Modell auch das heutige Datum nicht. Wer es nach einem aktuellen Stand fragt, bekommt eine plausible Antwort. Sie stammt aus der Zeit vor dem Trainingsende. Für diesen Punkt liegt kein geprüfter Messwert vor. Er gilt in der Fachwelt als Erfahrungswissen. Beispiel. In einem Lauf unserer Fallstudie führte das zu rund 97 Befunden gegen Funktionen ohne Entsprechung im Code. Jeder Befund war ausführlich. Jeder trug einen plausiblen Namen. Kein einziger Befund hatte ein Ziel. Beim Menschen. Die Autoritätsverzerrung. Eine Quellenangabe wirkt wie ein Beleg. Nachgeprüft hat den Beleg meist niemand. Kontrolle. Jede genannte Einheit muss auf ein echtes Objekt in der Quelle verweisen. Ein Verweis ohne Ziel macht den Befund ungültig, bevor er zählt.

6. Die Sicherheitsillusion, selbstsichere und dennoch unhaltbare Sicherheitsurteile.

Mechanismus. Ein Modell kann eine Ausarbeitung erzeugen oder abnehmen, die sauber aussieht, sich sinnvoll liest, jede Vorschrift zitiert und trotzdem eine echte Lücke trägt. Ein inneres Signal von Zweifel fehlt dabei. Plausibilität und Korrektheit sind zweierlei. Das Modell optimiert auf die Plausibilität. In [10] schrieben Teilnehmer mit einem KI-Assistenten weniger sicheren Code als ohne KI. Sie hielten ihren Code zugleich für sicherer. Beispiel. Die KI prüft einen Sicherheitsnachweis und gibt ihn frei. Gemessen wurde der Bremsweg eines Fahrzeugs auf trockener Fahrbahn. Bei Regen wurde nicht gemessen. Der Nachweis liest sich vollständig und begründet. Dass eine Bedingung fehlt, steht nirgends. Dieselbe Lücke gibt es beim Not-Aus einer Maschine: der Nachweis rechnet mit dem Schaltmoment und lässt den Nachlauf bis zum Stillstand aus. Beim Menschen. Die Automatisierungsverzerrung. Was die Maschine freigegeben hat, wird seltener nachgeprüft. Kontrolle. Sicherheit gegen ausführbare Tests und bekannte Angriffsmuster beurteilen. Die erklärte Zuversicht des Modells zählt dabei nicht.

7. Operative Fragilität (Infrastructure Drift).

Mechanismus. Die siebte Dimension ist nicht kognitiv. Das System um das Modell kann still ändern, was lief. Ein angefordertes Modell wird durch ein schwächeres ersetzt. Die Eingabe wird vor dem Eintreffen abgeschnitten. Eine Anfrage läuft in eine Zeitüberschreitung. Alle kognitiven Prüfungen können bestehen. Die tatsächliche Ausführung wich trotzdem von der beabsichtigten ab. In [13] wurde diese Lücke messbar gemacht. Der statistische Test dort vergleicht die Antworten eines Dienstes mit denen des angegebenen Modells. Er erkennt eine stille Ersetzung von außen. In [14] liefen fünf Modelle mit Einstellungen für gleichbleibende Antworten. Dieselbe Eingabe ergab über zehn Läufe trotzdem verschiedene Ergebnisse. Der Unterschied in der Genauigkeit erreichte 15 %. Beispiel. Ein Lauf wird gegen das starke Modell bestellt. Der Anbieter liefert unter Last das kleinere, das Protokoll hält keinen Modellnamen fest, die Prüfung läuft trotzdem durch und der Bericht kommt grün zurück. Beim Menschen. Der stille Austausch. Bestellt wird der Chefarzt, operiert hat der Kollege. Erfahren wird es nach dem Eingriff. Beauftragt wird der Partner der Kanzlei, bearbeitet hat es der Junior. Die Rechnung nennt in beiden Fällen den bestellten Namen. Kontrolle. Die Herkunft protokollieren: welches Modell die Anfrage bediente und ob die vollständige Eingabe verarbeitet wurde. Die erwartete Konfiguration vorab festlegen.

Die menschliche Komponente: warum Fehler durchschlagen

Die sieben Dimensionen beschreiben die Maschine. Dass sie durchkommen, liegt am Menschen. Die Maschine liefert den falschen Wert. Der Mensch prüft ihn nicht nach. Ein falscher Wert allein richtet noch keinen Schaden an, denn jemand hätte ihn finden können. Erst die ungeprüfte Übernahme bringt ihn in das Dokument. Zu jeder Dimension oben steht deshalb die passende menschliche Verzerrung.

In [11] heißt dieses Übermaß an Verlass Fehlgebrauch von Automatisierung. Die Folgen sind ein Nachlassen der Überwachung und eine verzerrte Entscheidung. Eine flüssige Ausgabe lädt genau dazu ein. Einer gut lesbaren Zusammenfassung wird mehr geglaubt als einer holprigen Fassung. Die Frage nach der Richtigkeit stellt sich dabei nicht.

Die Folgerung kennt jeder Ingenieur aus der Fertigung. Ein Messmittel wird zuerst qualifiziert. Erst danach gilt seine Anzeige. Hier ist es genauso.

Wer prüft die Prüfung

Der nächstliegende Ausweg ist, eine KI von einer zweiten KI prüfen zu lassen. Das verschiebt das Problem nur. In [12] wurde ein Modell als Prüfer eingesetzt. Es bekam zwei Antworten vorgelegt und sollte die bessere benennen. Danach bekam es dieselben zwei Antworten in umgekehrter Reihenfolge. Das Urteil kippte. Ein Richter mit dieser Eigenschaft ist kein Messmittel. Er ist ein Messmittel ohne Qualifikation. Für ihn gilt damit dasselbe wie für das geprüfte Modell.

Wie eine Prüfung außerhalb des Modells arbeitet, zeigt ein Handversuch aus unserer Fallstudie. Ein verbreiteter Büro-Assistent verglich zwei Stände eines Lastenhefts. Ein Prüfskript errechnete vorab die 28 echten Änderungen als Grundwahrheit. Jede Antwort des Assistenten lief gegen diese Liste. Das Ergebnis ging als Auftrag zur Nachbesserung zurück.

• Antwort 1: 82 % der Änderungen gefunden, eine dazu erfunden. REJECTED.
• Antwort 5: 28 von 28 gefunden, keine erfunden. ACCEPTED.

Abbildung 3: Der Prüfkreislauf. Antwort, Prüfung, Urteil und Nacharbeit drehen sich um eine Grundwahrheit. Berechnet wurde sie vor der Aufgabe.

Der springende Punkt liegt dazwischen. Die richtige Antwort sah beim Lesen genauso aus wie die abgelehnten davor. Ob die Schleife fertig war, hat niemand geschätzt. Es wurde gemessen.

Damit ist auch gesagt, warum die Suche nach der perfekten Formulierung nicht ans Ziel kommt. Ein Prompt wirkt auf die Eingabe. Sechs der sieben Fehler entstehen in der Ausgabe und der siebte in der Infrastruktur. Kein Wortlaut erreicht sie. Was sie erreicht, ist eine Prüfung außerhalb des Modells. Sie lässt sich wiederholen und liefert jedes Mal dasselbe Ergebnis.

Fazit: aus "fertig behauptet" wird "gemessen belegt"

Zurück zur Spezifikation über 60 Seiten. Die flüssige und falsche Antwort hat sieben mögliche Ursachen. Doch zu jeder einzelnen gehört eine eigene externe Kontrolle:

• Unabhängige Abdeckungslisten.
• Nachprüfbare Verweise.
• Ausführbare Tests.
• Begrenzte Iteration.
• Herkunftsprotokolle.

Keiner der sieben Mechanismen wird von der Erfolgsmeldung des Modells aufgedeckt. Zusammen machen diese Kontrollen aus "das Modell sagt, es sei fertig" ein "die Arbeit ist gemessen".

Jetzt ausprobieren

Genau das haben wir uns mit dem aisen-Portal zur Aufgabe gemacht: eine geprüfte KI, auf die man sich verlassen kann. Probieren Sie es aus.

Wer selbst entwickelt und seinen Ablauf im Spec-Coding verbessern will, findet dieselben Prüfungen als Werkzeugkasten: agentic-gates.

Quellen

[1] N. F. Liu, K. Lin, J. Hewitt, A. Paranjape, M. Bevilacqua, F. Petroni und P. Liang, "Lost in the Middle: How Language Models Use Long Contexts", Transactions of the Association for Computational Linguistics, Bd. 12, S. 157 bis 173, 2024, arXiv:2307.03172.

[2] C. An, J. Zhang, M. Zhong, L. Li, S. Gong, Y. Luo, J. Xu und L. Kong, "Why Does the Effective Context Length of LLMs Fall Short?", 2024, arXiv:2410.18745.

[3] J. Skalse, N. H. R. Howe, D. Krasheninnikov und D. Krueger, "Defining and Characterizing Reward Hacking", in Proc. NeurIPS, 2022, arXiv:2209.13085.

[4] M. Sharma, M. Tong, T. Korbak, D. Duvenaud, A. Askell, S. R. Bowman, N. Cheng, E. Durmus, Z. Hatfield-Dodds, S. R. Johnston, S. Kravec, T. Maxwell, S. McCandlish, K. Ndousse, O. Rausch, N. Schiefer, D. Yan, M. Zhang und E. Perez, "Towards Understanding Sycophancy in Language Models", in Proc. ICLR, 2024, arXiv:2310.13548.

[5] J. Huang, X. Chen, S. Mishra, H. S. Zheng, A. W. Yu, X. Song und D. Zhou, "Large Language Models Cannot Self-Correct Reasoning Yet", 2023, arXiv:2310.01798.

[6] M. Zhang, O. Press, W. Merrill, A. Liu und N. A. Smith, "How Language Model Hallucinations Can Snowball", 2023, arXiv:2305.13534.

[7] A. T. Kalai, O. Nachum, S. S. Vempala und E. Zhang, "Why Language Models Hallucinate", 2025, arXiv:2509.04664.

[8] L. Berglund, M. Tong, M. Kaufmann, M. Balesni, A. C. Stickland, T. Korbak und O. Evans, "The Reversal Curse: LLMs trained on A is B fail to learn B is A", 2023, arXiv:2309.12288.

[9] R. T. McCoy, S. Yao, D. Friedman, M. Hardy und T. L. Griffiths, "Embers of Autoregression: Understanding Large Language Models Through the Problem They are Trained to Solve", 2023, arXiv:2309.13638.

[10] N. Perry, M. Srivastava, D. Kumar und D. Boneh, "Do Users Write More Insecure Code with AI Assistants?", 2022, arXiv:2211.03622.

[11] R. Parasuraman und V. Riley, "Humans and Automation: Use, Misuse, Disuse, Abuse", Human Factors, Bd. 39, Nr. 2, S. 230 bis 253, 1997.

[12] P. Wang, L. Li, L. Chen, Z. Cai, D. Zhu, B. Lin, Y. Cao, Q. Liu, T. Liu und Z. Sui, "Large Language Models are not Fair Evaluators", in Proc. ACL, 2024, arXiv:2305.17926.

[13] I. Gao, P. Liang und C. Guestrin, "Model Equality Testing: Which Model Is This API Serving?", in Proc. ICLR, 2025, arXiv:2410.20247.

[14] B. Atil, S. Aykent, A. Chittams, L. Fu, R. J. Passonneau, E. Radcliffe, G. R. Rajagopal, A. Sloan, T. Tudrej, F. Ture, Z. Wu, L. Xu und B. Baldwin, "Non-Determinism of 'Deterministic' LLM Settings", 2024, arXiv:2408.04667.

[15] C.-Y. Hsieh, Y.-S. Chuang, C.-L. Li, Z. Wang, L. T. Le, A. Kumar, J. Glass, A. Ratner, C.-Y. Lee, R. Krishna und T. Pfister, "Found in the Middle: Calibrating Positional Attention Bias Improves Long Context Utilization", 2024, arXiv:2406.16008.

Fünfzehn Quellen, jede einzeln gegen die Fundstelle geprüft. Das Beispiel unter Dimension 7 ist eine eigene Beobachtung aus der Fallstudie und als solche gekennzeichnet. Dasselbe gilt für das fehlende Gegenwartswissen unter Dimension 5.