Targets Titel lesender LLM-Richter übersah in seinem Benchmark vier von zehn schlechten Empfehlungen
Sieben Target-Autoren beschreiben MOSS, einen Monitor, in dem o3 Live-Empfehlungen, Suchergebnisse und Angebote anhand von Produkttiteln und Strategiekontext bewertet. Die Produktionsbelege prüfen, ob Alarme berechtigt sind; in der retrospektiven Benchmark-Analyse des Papers übersah die eingesetzte Konfiguration rund vier von zehn der von menschlichen Prüfern markierten Paare.

Neritus Vale
Sieben Target-Autoren haben ein Preprint zu einem LLM-Monitor veröffentlicht, dessen Produktionsbelege prüfen, ob der Richter recht hat, wenn er Alarm schlägt. Darüber, was der Richter durchlässt, sagen sie wenig. Im Model Sanity Service (MOSS) bewertet OpenAIs o3 Live-Empfehlungen, Suchergebnisse und Angebote anhand von Artikeltiteln und Strategiekontext. Das System läuft seit über sechs Monaten bei dem, was das Paper „einen großen US-Händler“ nennt, und hat zwei bestätigte Ausspielungsfehler aufgedeckt.
Das Paper befindet sich bei IEEE BigData 2026 im Review und nennt außer diesem Händler keinen Betreiber; die Autoren arbeiten in Targets Data-Sciences-Gruppe. Alle vier Stunden zieht MOSS Seed-Artikel nach Traffic und schickt o3 die Titel jedes Seeds und seiner Empfehlungen.
Der Richter sieht weniger als alle anderen im Paper. Marke, Preis, Beschreibung, Farbe, Material und Zielgruppe bleiben in den MOSS-Logs. Die Prüfer, die den Benchmark mit 498 Paaren labelten, sahen die vollständigen Produktmetadaten.
Die beiden Fehler, die MOSS aufgespürt hat, verrät ein Titel von selbst. Die Auffüllung in einer Bundle-Platzierung hängte einen Horror-Taschenbuchroman für Erwachsene und einen Fantasyroman für Jugendliche an ein Pappbilderbuch für Kinder. Der Abschnitt zu den Einschränkungen räumt ein, dass vage Titel Fehlalarme auslösen können; einen passenden Titel, der den falschen Stoff oder Schnitt verbirgt, behandelt er nicht. Das Paper berichtet keine Ergebnisse für Bekleidung, dieser Fall ist also eine Schlussfolgerung.
Die Übereinstimmung mit menschlichen Prüfern, die übliche Verteidigung von LLM-Richtern, ist für einen Monitor ein schwacher Test. Nur 17,5 % der Paare im Benchmark waren alarmwürdig, die Übereinstimmung wird also größtenteils bei Paaren erzielt, die in Ordnung waren. Die zufallsbereinigte Kennzahl des Papers setzt o3 bei einem κ von 0,52 an, gegenüber 0,49 zwischen den beiden Prüfern.
Beim Ranking schlug jeder Frontier-Richter die Produktions-Embeddings des Händlers, auch wenn die Autoren die Abstände nicht als signifikant bezeichnen. Mit seinem ursprünglichen Prompt erreichte o3 eine AUC von 0,871, die Embeddings kamen auf 0,794.
Die eingesetzte Konfiguration ist schwächer. Sie nutzt einen kalibrierten o3-Prompt, der unter anderem gewählt wurde, um das Alarmvolumen „in einen Bereich zu bringen, den die menschliche Triage-Warteschlange tragen kann“. Auf der Teilmenge von 419 Paaren, auf der sich alle Methoden vergleichen ließen, liegt ihr F1 bei 0,556. Der Recall sank weit stärker als die Falsch-Positiv-Rate, die meisten der weggefallenen Alarme waren also berechtigt. Die Konfiguration ließ rund vier von zehn der von Prüfern markierten Paare durch, ein Recall von 0,584 bei der retrospektiven Schwelle der Autoren.
Die Kalibrierung kostete dort am meisten, wo der Richter am stärksten gewesen war. Seinen größten Vorsprung vor den Embeddings hatte er bei Substituten, also Artikeln, die den Seed ersetzen sollen. Der kalibrierte Prompt halbierte seinen Recall dort, im Text von 0,632 auf 0,316; Tabelle IV nennt für die Ausgangszelle 0,737. Etwa 19 Substitutpaare waren alarmwürdig, aus zwölf erkannten werden also sechs.
Verwandte Artikel, 60 % des Produktionslaufs, hielten sich: Ihr F1 stieg unter der Kalibrierung von 0,729 auf 0,737. Die Vier-von-zehn-Zahl bündelt also einen Verlust, der überwiegend Substitute und Bundles trifft. In der Bekleidung ist ein Substitut das Kleid, das angeboten wird, wenn das erste ausverkauft ist, und es funktioniert nur, wenn Material, Stil und Trägerin oder Träger passen. Dieser Richter sieht diese Details nur, wenn der Titel sie enthält.
Ein repräsentativer Lauf markierte 28,4 % der bewerteten Paare, eine nach Traffic gewichtete Rate. Das Paper berichtet nicht, was die Prüfer von diesem Lauf hielten. Eine separate Studie ließ Prüfer 116 Alarme des ursprünglichen Prompts bei einer Schwelle von 2 lesen: 84,5 % wurden als handlungsrelevant eingestuft, 56,0 % erfüllten die strenge Definition eines Mismatches.
Bei den Angeboten prüften die Prüfer nur markierte Paare und bestätigten 83,2 %; das testet, so die Autoren, „die Präzision eines Alarmsystems“. Eine Stichprobe aus Alarmen kann das Angebot nicht enthalten, das der Richter durchgewinkt hat.
Nichts in den Produktionsbelegen zählt, was der Richter durchgelassen hat.
Die Belege zur Suche stützen sich auf 21 Anfragen. An der Empfehlungsschwelle erzielte o3 einen F1 von 0,831 bei einem Recall von 0,914. Dieser Recall ist der stärkste Beleg gegen das Argument dieses Artikels. Die Anfragen erklären ihn: Es waren Head-Queries, „Produktkategoriebegriffe“, und zwei davon enthalten gut die Hälfte der von Menschen markierten Paare. Titel dürften Kategoriebegriffe am besten bedienen; das Paper testet keine Prompts, die nur Titel nutzen, gegen Anfragen nach einem Stoff oder einem Schnitt.
Die Senkung der Alarmrate um 76,4 % kommt daher, dass MOSS die Korrektur eines selbst gefundenen Fehlers bewertet. Offline lieferte die Ersatzplatzierung etwa ein Drittel so viele Paare wie die alte. Das ist gewollt, aber eine Alarmrate ist ein Anteil: Eine Platzierung, die weniger und sicherere Artikel liefert, schneidet besser ab, ganz gleich, ob Kundinnen und Kunden mehr kaufen.
Das Drift-Modul beobachtet die Titel-Scores des Richters und sieht deshalb für sich genommen nur die Drift, die Titel zeigen. Ein Rückgang des mittleren Scores um 1,5 Punkte löst eine Warnung aus, ein Anstieg um zwei Punkte gilt als „eher ein Datenproblem als eine echte Qualitätsverbesserung“. Das Paper ergänzt ein periodisches Neu-Scoring eines festen Kalibrierungssets, das Änderungen am Richter erfasst, welche die Produktionsverteilungen unberührt lassen.
OpenAIs Deprecations-Seite führt den Snapshot o3-2025-04-16 zur Abschaltung am 11. Dezember, als Ersatz ist gpt-5.6-sol genannt. Das Paper nennt den Snapshot nicht, auf dem MOSS läuft; es sagt nur, das Scoring laufe über „einen internen Enterprise-API-Endpunkt“. Dieselbe Seite nimmt an diesem Tag den Snapshot gpt-5-2025-08-07 außer Betrieb, und das Paper hat keinen der beiden Ersatzkandidaten getestet. GPT-5 mit dem kalibrierten Prompt von o3 sah seine AUC auf 0,528 fallen, man kann also nicht davon ausgehen, dass ein Nachfolger die Kalibrierung erbt.
Der stärkste Einwand lautet, Triage brauche zuerst Präzision, denn eine Warteschlange voller zweifelhafter Alarme werde ignoriert. Die Autoren nennen MOSS eine Triage-Schicht, „kein automatischer Qualitätsrichter“. Das gilt nur, wenn etwas anderes auffängt, was der Richter übersieht, und die Prämisse des Papers schließt das aus: MOSS existiert, weil Verhaltensmetriken enge Fehler nur langsam zeigen und verwässern. Wenn ein Substitut aus dem falschen Stoff ein solcher Fehler ist, kann es den Klick und die Bestellung verdienen, bevor irgendein Signal anschlägt.
Für einen Händler, der einen solchen Monitor erwägt, geht es um die Frage, was der Richter lesen darf. Der Händler kann für längere Prompts und eine neue Kalibrierung zahlen oder einen Richter behalten, der den Titel liest, während die Kundschaft das Etikett liest.