Was ein Paket mit 500 Prompts wirklich kostet

Jemand verkauft Ihnen 500 fertige Prompts für 99 Dollar. Die Werbung schreibt sich von selbst. Monate an Feinarbeit, gebündelt, heute Nachmittag in Ihrem Besitz.

Die 99 Dollar sind nicht der Preis. Sie sind die Anzahlung.

Hier ist der Rest der Rechnung, in vier Teilen, jeder davon messbar.

1. Teil 1: der Posten, der sich wiederholt

Ein gekaufter Meister-Prompt umfasst fünf bis zehn Seiten. Regeln, Beispiele, Rollenbeschreibungen und ein paar Seiten höfliche Formulierungen.

Zehn Seiten Text sind rund 15.000 Zeichen. Nach einer Faustregel ergeben vier Zeichen einen Zeichenbaustein, die Anweisung umfasst also etwa 3800 davon. Abgerechnet wird die Eingabe.

Bei 10.000 Kundenanfragen im Monat sind das 38 Millionen Zeichenbausteine. Kein einziges Wort Ihres eigenen Dokuments steckt in dieser Zahl. Nehmen Sie den Preis je Million aus der Liste Ihres Anbieters und rechnen Sie nach. Die Anweisung wird bei der zehntausendsten Anfrage genauso berechnet wie bei der ersten Anfrage.

Diesen Teil der Rechnung können Sie heute aufstellen. Für die nächsten drei Teile gilt das nicht.

2. Teil 2: das Schloss wechselt, während Sie den Schlüssel kaufen

Ein Prompt ist kein Programm. Er wirkt auf einem Modell in einer Fassung zu einem Zeitpunkt.

Abbildung 1: Der gekaufte Schlüssel. Das Schloss beim Wechsel.

Bild maschinell erzeugt

Drei Autoren prüften dasselbe Modell im Abstand von drei Monaten mit denselben Aufgaben. Bei einer Aufgabe fiel die Trefferquote von 84 % auf 51 %. Den Prompt hatte niemand angefasst. [1]

Zwei weitere Arbeiten sagen dasselbe aus zwei Richtungen. Eine auf einem Modell gut laufende Prompt-Form hängt nur schwach mit der Leistung auf dem nächsten zusammen. [2] Eine gute Anordnung von Beispielen für ein Modell ist auf einem anderen wertlos. [3]

Abgestimmt wurde das gekaufte Paket auf ein Modell in einer Fassung von damals. Auf das Modell Ihrer Wahl lässt es sich ebenfalls nicht übertragen.

3. Teil 3: was Sie gekauft haben, kann jeder auslesen

Die Werbung nennt die Prompts geschütztes Eigentum. Drei Autoren haben gemessen, ob das trägt. Über drei Prompt-Quellen und elf Modelle hinweg legten einfache textliche Angriffe den verborgenen Prompt mit hoher Wahrscheinlichkeit offen. Ihr Verfahren unterscheidet dabei einen echt ausgelesenen Prompt von einem erfundenen, das Ergebnis ist also kein Artefakt. [4]

Neun Autoren gingen einen Schritt weiter und griffen echte kommerzielle Prompt-Dienste an. Ihr Verfahren erschließt aus sehr wenigen Ein- und Ausgaben, was ein Prompt tut. Danach schreibt es einen eigenen mit demselben Verhalten. Die Arbeit erschien auf einer Sicherheitskonferenz. [5]

Ein Prompt ist einfacher Text vor einem Modell. Und dieses Modell gibt darüber Auskunft. Was immer Sie dafür bezahlt haben: Ihre Nutzer kommen daran. Ihr Wettbewerber auch.

4. Teil 4: die Wartung hört nicht auf

Jede Anbieteraktualisierung, jeder Wechsel auf ein günstigeres Modell und jede Änderung an der umgebenden Anwendung setzt die Abstimmung neu an. Ein langer Prompt verschlimmert das messbar. Sieben Autoren prüften die Position einer Angabe in einer langen Eingabe. In der Mitte wird sie deutlich unzuverlässiger genutzt als am Anfang oder am Ende. Das gilt auch bei Modellen für lange Eingaben. [6]

Je größer das Paket, desto mehr ist neu abzustimmen. Und desto mehr davon liegt in dem Teil der Eingabe mit der schlechtesten Behandlung.

5. Was Sie stattdessen kaufen sollten

Nichts. Hier gibt es kein Erzeugnis zu kaufen, sondern nur eine Arbeitsweise.

Halten Sie den Prompt kurz. Verlangen Sie eine Sache: die Antwort und dazu für jede Behauptung ein wörtliches Zitat aus dem Quelldokument.

Danach prüft ein Programm. Es sucht jedes Zitat Zeichen für Zeichen in der Quelle, auf Ihrem eigenen Rechner, ohne Modell. Zitat da und den Wert tragend: angenommen. Zitat weg: abgelehnt. Geklärt ist damit die Herkunft einer Zahl und nicht ihr Sinn.

Das kostet ein paar hundert Zeichenbausteine je Anfrage statt 3800 Zeichenbausteinen. Welches Modell die Antwort erzeugt hat, spielt keine Rolle. Den Anbieter können Sie an einem Dienstagnachmittag wechseln. Und stehlen kann es Ihnen niemand, denn geheim ist daran nichts. Die Prüfung sind zwanzig Zeilen Code. Der Wert steckt in Ihren Dokumenten.

Ein Prompt ist ein Schlüssel für genau ein Schloss. Eine Prüfung ist ein eigenes Schloss.

6. Quellen

[1] L. Chen, M. Zaharia und J. Zou, "How is ChatGPT's behavior changing over time?", arXiv:2307.09009, 2023.

[2] M. Sclar, Y. Choi, Y. Tsvetkov und A. Suhr, "Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design", ICLR 2024, arXiv:2310.11324.

[3] Y. Lu, M. Bartolo, A. Moore, S. Riedel und P. Stenetorp, "Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity", ACL 2022, arXiv:2104.08786.

[4] Y. Zhang, N. Carlini und D. Ippolito, "Effective Prompt Extraction from Language Models", arXiv:2307.06865, 2023.

[5] Y. Yang, C. Li, Q. Li, O. Ma, H. Wang, Z. Wang, Y. Gao, W. Chen und S. Ji, "PRSA: Prompt Stealing Attacks against Real-World Prompt Services", USENIX Security 2025, arXiv:2402.19200.

[6] N. F. Liu, K. Lin, J. Hewitt, A. Paranjape, M. Bevilacqua, F. Petroni und P. Liang, "Lost in the Middle: How Language Models Use Long Contexts", arXiv:2307.03172, 2023.