Warum „Wir schauen es uns an“ keine Messung ist
Fragt man ein Team, woher es weiß, dass seine KI-Ausgaben gut sind, lautet die ehrliche Antwort fast immer: Wir schauen sie uns an. Das scheitert auf drei Arten – und ich bin in alle drei hineingelaufen.
- Es skaliert nicht. Hundert Ausgaben sorgfältig zu prüfen, kostet Tage. Also überfliegt man sie, und beim Überfliegen fallen nur die groben Ausfälle auf.
- Man ist bei der eigenen Arbeit befangen. Man weiß, was rüberkommen sollte, und ergänzt im Kopf, was fehlt. Ob etwas verständlich ist, kann man selbst am schlechtesten beurteilen – man ist der Einzige, der es schon weiß.
- Eine Note sagt nicht, was zu ändern ist. „Sechs von zehn“ hilft niemandem weiter.
Ich baute damals eine Pipeline, die aus Texten vertonte Videos mit generierten Bildern macht. Qualität war Ansichtssache, die Fehler waren subtil, und ich konnte nicht sagen, ob eine Änderung etwas brachte. Also habe ich, bevor ich die Ausgabe verbessert habe, erst einmal ein Instrument gebaut, um sie zu messen.
Die eine Entscheidung: Der Richter sieht die Quelle nie
Der Kritiker bekommt nur das fertige Ergebnis – genau so, wie ein Fremder es zu sehen bekäme. Ein Richter, der das Skript gelesen hat, wird bestätigen, dass das Video Sinn ergibt. Tut es ja auch – für jemanden, der das Skript kennt.
Nacherzählung statt Note – und ein Test für den Test
Das Entscheidende ist eine Nacherzählung, keine Note. Der Richter schaut sich das Ergebnis an und erzählt nach, was er verstanden hat. Der Abgleich mit dem, was rüberkommen sollte, zeigt genau, wo das Verständnis abreißt: in welcher Szene, an welchem Übergang, bei welchem unerklärten Gegenstand. Eine Note sagt, dass das Ergebnis schlecht ist. Die Nacherzählung sagt, warum – und zeigt auf die Zeile, die geändert werden muss.
Positivkontrollen. Bekannt gutes und bekannt schlechtes Material läuft durch denselben Richter, um zu prüfen, ob er beides unterscheiden kann. Ohne das ist ein Bewertungs-Harness nur ein Zufallsgenerator mit selbstsicherem Ton – und ich hätte ihm geglaubt.
Selbstübereinstimmung. Bevor ich dem Richter vertraut habe, habe ich gemessen, ob er mit sich selbst übereinstimmt: Zwei Läufe korrelieren mit r = 0,78, die mittlere absolute Abweichung liegt bei 0,27.
Fünfmal hat es mir widersprochen
Ein Bewertungs-Harness lohnt sich erst, wenn es dem widerspricht, der es gebaut hat. Hier Einträge aus dem Korrekturprotokoll.
| Was ich dachte | Was die Messung zeigte |
|---|---|
| Die Figur bleibt über die generierten Bilder hinweg dieselbe – der Kontaktbogen sah gut aus. | In voller Auflösung bewertet: 27/100. Drei sichtbar verschiedene Personen spielten eine Figur. In Miniaturgröße war das nicht zu erkennen. |
| Eine sauberere Architektur sollte die funktionierende ersetzen. | Im direkten, kalibrierten Vergleich verlor sie: 40,0 gegen 48,7 für die bestehende Lösung. Ich habe sie am selben Tag verworfen, an dem ich sie empfohlen hatte. |
| Eine Korrektur gegen unnatürliche Körperhaltungen würde helfen. | Die Bildnote fiel von 36 auf 28. Den schädlichen Teil habe ich zurückgenommen, den Rest behalten. |
| Die Qualität steigt stetig mit einer bestimmten Eingangsgröße. | Bei n = 3 passte das, bei n = 5 nicht mehr. Drei Datenpunkte stützen fast jede Geschichte, die man erzählen will. |
| Ein Stück mit guter Bewertung war auch gut. | Für einen Menschen wirkte es wie ein Traum: flüssig, aber ohne Zusammenhang. Für Kohärenz hatte das Harness keine Achse. |
Beim letzten Fall hat das Harness seinen eigenen blinden Fleck gefunden. Es prüfte, ob jeder Teil für sich verständlich war, nicht aber, ob die Teile zusammenpassten. Ich habe Kohärenz als eigene, stark gewichtete Achse ergänzt und alles neu bewertet. Noten, die gut ausgesehen hatten, fielen deutlich – zu Recht.
Ein Bewertungs-Harness ist selbst Software mit Fehlern, und der schlimmste Fehler ist eine fehlende Dimension. Er meldet nie einen Fehler. Er meldet eine gute Note für Arbeit, die auf eine Weise scheitert, die man zu messen vergessen hat.
Ergebnis: gezielt verbessern statt hoffen
| Messgröße | Vorher | Nachher |
|---|---|---|
| Verständlichkeit (blinder Richter, /10) | 3,3 | 7,8 |
| Gesamt (Mittelwert, /140) | — | 103,8 |
| Selbstübereinstimmung des Richters (zwei Läufe) | — | r = 0,78 |
| Drift des Richters (mittlere absolute Abweichung) | — | 0,27 |
Die letzten beiden Zeilen sind so wichtig wie die erste: Ich habe geprüft, ob das Messgerät mit sich selbst übereinstimmt, bevor ich seinen Ergebnissen getraut habe.
Alle 56 Zyklen sind dokumentiert, auch jede Sackgasse. Einige waren teuer. Die Aufzeichnung sorgt dafür, dass ich sie nicht noch einmal laufen lasse.
Wo das hilft
Überall dort, wo ein Team eine generative Funktion im Einsatz hat, aber keine automatische Vorstellung von Ausgabequalität – nach meiner Erfahrung bei den meisten. Konkret:
- Regressionstests für LLM-Ausgaben vor einem Release
- A/B-Bewertung von Prompt- und Modelländerungen
- Qualitätsdrift nach einem Modell-Upgrade erkennen
- Prüfung, die über das hinaus skaliert, was Menschen lesen können
Ebenso relevant, wenn die Bewertung lokal laufen muss, weil die Inhalte nicht an die API eines Drittanbieters gehen dürfen.