Die Ironien der Automatisierung: warum der Mensch über dem Agenten wichtiger wird

1983 veröffentlichte die Kognitionspsychologin Lisanne Bainbridge einen Aufsatz von fünf Seiten. Er prägt die Automatisierungsforschung bis heute: „Ironies of Automation" [1]. Ihr Gegenstand waren Kraftwerkswarten und Prozessleitstände, also Anlagen, in denen Automaten die Arbeit übernommen hatten und Menschen nur noch überwachten. Ihr Befund: Automatisierung entfernt den Menschen nicht aus dem System. Sie macht seine Rolle schwerer und wichtiger zugleich. Wer heute einen Code-Agenten einsetzt, sitzt in genau dieser Warte.

1. Vier Ironien, eine Warte

Die Restaufgaben. Der Konstrukteur automatisiert, was er automatisieren kann. Dem Menschen bleibt der Rest. Das sind genau die Aufgaben oberhalb der Maschinengrenze. Die leichte Arbeit geht, die schwere bleibt.

Der Übungsverlust. Fertigkeiten verkümmern ohne Gebrauch. Ein Operateur fährt jahrelang nicht mehr von Hand. Im Störfall soll er besser fahren als je zuvor, mit weniger Übung als je zuvor.

Die Daueraufmerksamkeit. Menschen fehlt die Geduld, auf seltene Ereignisse zu warten. Bainbridge zitiert die Wachsamkeitsforschung: Schon nach etwa einer halben Stunde lässt die Aufmerksamkeit auf eine ereignisarme Anzeige messbar nach [1]. Ausgerechnet das Überwachen ist die letzte verbliebene Aufgabe. Für sie sind Menschen am schlechtesten gebaut.

Der Widerspruch im Fundament. Der Mensch galt als Fehlerquelle. Deshalb wurde automatisiert. Im Störfall aber soll derselbe Mensch einspringen und können, was die Automatik nicht konnte. Wer dem Menschen misstraut, verlässt sich am Ende doppelt auf ihn.

2. Der Entwickler ist jetzt der Wartenoperateur

Alle vier Ironien übersetzen sich ohne Rest auf die Arbeit mit einem Code-Agenten. Die Forschung hat das nachgezogen: Vierzig Jahre nach Bainbridge schrieb Mica Endsley die Ironien für KI-Systeme fort. Je fähiger die KI und je natürlicher ihr Dialog, desto schwerer fällt es Menschen, ihre Grenzen und ihre Verlässlichkeit einzuschätzen [2]. Eine Arbeitsgruppe um Auste Simkute fand die Ironien in der generativen KI wieder: Die Rolle des Nutzers verschiebt sich vom Erzeugen zum Bewerten. Die Automatisierung macht leichte Aufgaben leichter und schwere Aufgaben schwerer [3].

Die Restaufgaben: Der Agent erledigt die Routineänderung in Minuten. Beim Menschen landet, was der Agent nicht konnte. Das ist der verwickelte Randfall, die Architekturfrage, der Störfall zur Unzeit.

Der Übungsverlust: Wer monatelang wenig eigenen Code geschrieben hat, liest fremden schlechter. Gebraucht wird die Fertigkeit aber genau in dem Moment, in dem der Agent scheitert. Dann auch noch unter Druck. Eine Befragung von 319 Wissensarbeitern zeigt den Anfang davon. Je größer das Vertrauen in die KI, desto weniger eigenes kritisches Prüfen berichten sie [4].

Die Daueraufmerksamkeit: Der Mensch soll Zeile für Zeile fremden Code lesen, in dem fast immer alles stimmt. Das ist die Wachsamkeitsaufgabe aus der Warte, nur mit mehr Zeilen. Auch ein maschineller Prüfer verfällt ohne eigene Prüfung. Wir haben es gemessen: Ein zuverlässig wirkender Prüfer wählte in 32 von 36 Urteilen schlicht die zuerst gezeigte Option [5]. Aufgefallen ist das keinem aufmerksamen Leser. Gefunden hat es ein Messverfahren. Es stellte den Prüfer selbst auf den Prüfstand.

Der Widerspruch im Fundament: Menschen schreiben langsam und machen dabei Fehler. Genau deshalb ist der Agent im Haus. Verantworten soll das Ergebnis trotzdem ein Mensch. Und zwar einer ohne den Code im Kopf, denn diesen Moment gab es nie. Wie das ausgeht, wurde gemessen: Mit KI-Assistent schrieben Teilnehmer einer Studie weniger sicheren Code als die Kontrollgruppe und hielten ihn zugleich häufiger für sicher [6]. Auch die Zeitwahrnehmung täuscht: In einem randomisierten Versuch mit erfahrenen Entwicklern machte das KI-Werkzeug die Arbeit im Schnitt 19 % langsamer, geschätzt haben die Teilnehmer hinterher 20 % schneller [7].

3. Was Spec Coding daraus zieht

Bainbridge hat die Ironien nicht nur beschrieben, sie hat auch die Richtung der Abhilfe genannt: Wenn Überwachen die neue Arbeit ist, muss die Anlage für den Überwacher gebaut werden, nicht nur für den Prozess. Vier Konsequenzen:

1. Prüfwerkzeuge für den Menschen, nicht nur für die Maschine. Wer Agenten einführt und am Werkzeug für den Prüfer spart, kauft nur die billige Hälfte der Automatisierung. Der Mensch bekommt keine Rohdiffs, sondern verdichtete Befunde: was geprüft wurde, was auffiel, was offen bleibt.
2. Daueraufmerksamkeit ersetzen, nicht verlangen. Die Zeile-für-Zeile-Wache übernehmen Maschinenprüfungen. Sie werden nicht müde. Der Mensch urteilt an benannten Punkten. Dort geht es um Absicht statt um Form.
3. Die Übung erhalten. Kleine Scheiben statt Endabnahme: Wer jede Scheibe abnimmt, bleibt im Stoff. Er kann beim noch kleinen Fehler eingreifen. Jede Zeile hat einen benannten menschlichen Abnehmer.
4. Der Prüfer hat selbst einen Prüfer. Auch das Messgerät steht auf dem Prüfstand. Erst danach zählt sein Urteil: bekannt falsche Eingaben zuerst. Unsere eigene Prüfung fing 12 von 12 [5]. So prüft der Mensch die Prüfer statt jeden Rohcode. Die Wachsamkeit liegt damit an einer Stelle ohne Ermüdung.

4. Eine ehrliche Grenze

Bainbridge fand die Ironien an Menschen vor Leitständen. Ihre Übertragung auf die Arbeit über einem Code-Agenten ist an den zitierten Stellen mit eigenen Messungen belegt und bleibt sonst Beobachtung. Und kein Werkzeug hebt die vierte Ironie auf: Am Ende steht ein Mensch, der verantwortet, was er nicht geschrieben hat. Die Werkzeuge können diese Last tragen helfen. Abnehmen können sie sie nicht.

5. Fazit: die teure Hälfte

Der Agent ist die billige Hälfte der Automatisierung. Die teure Hälfte ist der Prüfplatz des Menschen darüber. Genau sie wird beim Einkauf am häufigsten vergessen.

Automatisierung entfernt den Menschen nicht. Sie macht ihn zur wichtigsten Prüfstelle im System. Genau so muss er ausgestattet werden.

6. Quellen

[1] L. Bainbridge, „Ironies of Automation", Automatica, Bd. 19, Nr. 6, S. 775 bis 779, 1983

[2] M. R. Endsley, „Ironies of artificial intelligence", Ergonomics, Bd. 66, Nr. 11, S. 1656 bis 1668, 2023

[3] A. Simkute, L. Tankelevitch, V. Kewenig, A. E. Scott, A. Sellen und S. Rintel, „Ironies of Generative AI: Understanding and Mitigating Productivity Loss in Human-AI Interaction", International Journal of Human-Computer Interaction, Bd. 41, Nr. 5, S. 2898 bis 2919, 2025

[4] H.-P. Lee, A. Sarkar, L. Tankelevitch, I. Drosos, S. Rintel, R. Banks und N. Wilson, „The Impact of Generative AI on Critical Thinking: Self-Reported Reductions in Cognitive Effort and Confidence Effects From a Survey of Knowledge Workers", CHI, 2025

[5] Betteryields, „Fertigungsdisziplin statt Prompt Engineering", 2026, interner Beitrag (Beitrag 0004), MSA-Kapitel mit den Messwerten aus dem Pilotmaßstab

[6] N. Perry, M. Srivastava, D. Kumar und D. Boneh, „Do Users Write More Insecure Code with AI Assistants?", ACM CCS, 2023

[7] J. Becker, N. Rush, E. Barnes und D. Rein, „Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity", arXiv:2507.09089, 2025