Fehlerakkumulation beim KI-Agenten: Warum 95 % pro Schritt zu wenig sind
Fehlerakkumulation beim KI-Agenten (Compounding Error) bedeutet: Die Erfolgswahrscheinlichkeit einer langen Aufgabe ist das Produkt der Erfolgswahrscheinlichkeiten jedes einzelnen Schritts. Bei 95 % pro Schritt gelingt eine Kette aus 10 Schritten in etwa 60 % der Fälle, aus 20 Schritten nur in 36 %. Das Harness begrenzt den Effekt, indem es jeden Schritt prüft und den geprüften Zustand festhält, damit sich ein Fehler nicht weiter fortpflanzt.
Was Fehlerakkumulation bedeutet
Ein Agent löst eine Aufgabe nicht in einer einzigen Aktion, sondern in einer Kette: Datei lesen, Funktion ändern, Tests starten, Import korrigieren. Wenn jeder Schritt mit der Wahrscheinlichkeit p korrekt ist, die Schritte unabhängig voneinander sind und ein Fehler alles Folgende zerstört, ist die Erfolgswahrscheinlichkeit einer Kette aus n Schritten p hoch n. Genau das ist die Fehlerakkumulation des KI-Agenten, auf Englisch Compounding Error.
Die Intuition täuscht: 95 % pro Schritt klingen nach Zuverlässigkeit. Doch der Exponent verbraucht den Puffer schnell.
| Schritte | p = 0,95 | p = 0,99 |
|---|---|---|
| 1 | 95 % | 99 % |
| 10 | ≈ 60 % | ≈ 90 % |
| 20 | ≈ 36 % | ≈ 82 % |
| 50 | ≈ 8 % | ≈ 61 % |
Das Modell ist grob: In der Praxis sind die Schritte nicht ganz unabhängig, und ein Teil der Fehler ist harmlos. Die Richtung stimmt aber: Je länger ein autonomer Lauf ohne Prüfungen dauert, desto geringer ist die Chance, dass das Ergebnis stimmt.
Warum lange Ketten zusammenbrechen
Ein Fehler am Anfang bleibt nicht an einer Stelle. Der Agent baut die nächsten Änderungen auf einer falschen Grundlage auf, und wenn etwas sichtbar kaputtgeht, liegt über dem Fehler bereits ein Dutzend Schichten Code. Besonders problematisch ist es, wenn der Agent das Ergebnis selbst bewertet: Sein Urteil neigt zu »alles gut«. Deshalb kann der Bericht »fertig, Tests grün« auch dann kommen, wenn der Code zur Hälfte nicht funktioniert.
Was das Harness dagegen tut
Die Wahrscheinlichkeit p lässt sich nur begrenzt erhöhen; ein Modell wird dadurch nicht fehlerfrei. Der wirksamste Hebel ist, einen Fehler nicht in den nächsten Schritt wandern zu lassen. Das Harness schließt den Rückkopplungskreis.
- Sensor nach jedem Schritt. Ein einziger Prüfbefehl (zum Beispiel
make verifymit Tests und Linter) misst das Ergebnis ehrlich, statt sich auf die Selbsteinschätzung des Agenten zu verlassen. - Wiederherstellungspunkt. Ein Schritt, der die Prüfung besteht, wird mit einem Commit festgehalten. Die nächste Kette beginnt dann beim geprüften Zustand, und der Fehlerzähler wird faktisch auf null gesetzt.
- Minimale Korrektur. Bei einer roten Prüfung behebt der Agent die konkrete Ursache, statt alles neu zu schreiben. So werden Schwankungen gedämpft.
- Kurze Aufgaben. Eine Aufgabe nach der anderen, kleine Schritte, häufige Prüfungen. Statt zwanzig Schritten blind entstehen zwanzig Ketten von je einem Schritt.
In Claude Code kann man die Prüfung an Hooks hängen, damit sie automatisch läuft und nicht von der Bereitschaft des Modells abhängt.
Kurz gesagt
Fehlerakkumulation beim KI-Agenten ist eine einfache Rechnung: 0,95 hoch zehn ergibt etwa 0,60, hoch zwanzig etwa 0,36. Behoben wird das nicht durch ein »klügeres Modell«, sondern durch das Harness: Prüfung jedes Schritts, Commit des geprüften Zustands und kurze Aufgaben. Die Mathematik des Regelkreises und die dahinterstehenden Gesetze werden im Kurs in der Vorlesung ausführlich behandelt.
Häufige Fragen
Heißt das, dass ein Agent eine Aufgabe mit 50 Schritten nicht schafft?
Ohne Zwischenprüfungen sind die Chancen tatsächlich gering. Mit Prüfung und Commit nach jedem Schritt wird die Aufgabe zu einer Reihe kurzer Ketten, und der Gesamterfolg hängt nicht mehr vom Produkt aller Schritte ab.
Hilft ein stärkeres Modell?
Ja: Steigt die Genauigkeit von 95 % auf 99 %, wächst der Erfolg bei 20 Schritten von 36 % auf 82 %. Doch selbst 99 % bei 50 Schritten ergeben nur etwa 61 %, deshalb sind Prüfungen trotzdem nötig.
Warum ist der Agent von seinem Ergebnis überzeugt, obwohl er sich geirrt hat?
Ohne externen Sensor vergleicht der Agent das Ergebnis mit seiner eigenen Erwartung und nicht mit der Realität. Seine Sicherheit wächst unabhängig davon, ob der Code korrekt ist.
Kann man den Agenten einfach bitten, sich selbst zu prüfen?
Eine Bitte im Prompt garantiert die Ausführung nicht. Verlässlicher ist es, die Prüfung zur Mechanik zu machen: als eigenen Befehl, als Hook oder als Prüfung in der CI.
Dieses Thema wird im Kurs „Harness Engineering: инженерия надёжности AI-агентов“ ausführlich mit Praxis behandelt.
Zum Kurs