Research & Trends

Acht simulierte Käufer spielten einen Live-A/B-Test nach. Nur die der Autoren lagen innerhalb von 30 %.

UserArena hat einen produktiven A/B-Test einer Ranking-Änderung durch acht Simulatoren laufen lassen. Die Methode der Autoren bildete 71 % des Live-Effekts ab, die trainierten Konkurrenten unter 30 %, und zwei GPT-6-Modelle überzeichneten ihn. Die Prüfung stützt sich auf eine einzige Klickmetrik, ohne Verkaufsdaten und ohne Fehlerbalken.

A row of wooden mannequin shoppers faces a giant phone showing two versions of a clothing feed marked A and B; most barely lean toward the screen, one leans close to a chalk line, two topple far past it.

Neritus Vale

Ein simulierter Käufer kann gegenüber protokollierten Klicks gut abschneiden und trotzdem falsch einschätzen, was eine Ranking-Änderung bei den Menschen bewirkt, die er nachahmt. UserArena, ein am 22. Oktober veröffentlichter Benchmark, zeigt das, indem er einen Live-A/B-Test durch acht Simulatoren laufen lässt. Ihre Schätzungen des Effekts reichten von fast nichts bis zu mehr als dem Doppelten des realen Werts. Nur die Methode, die die Autoren selbst vorschlagen, lag innerhalb von 30 % davon.

Recommendation-Teams wünschen sich simulierte Käufer als Ersatz für Live-Tests, die langsam sind und echten Kunden schlechtere Rankings zeigen können. Forscher von Meta haben mit RecoWorld einen Entwurf für simulierte Umgebungen vorgeschlagen, in denen agentische Recommender „aus Fehlern lernen können, ohne echte Nutzer zu beeinträchtigen“. Ein KDD-2026-Paper der City University of Hong Kong und von Huawei sprach LLM-Agenten „großes Potenzial“ zu, „herkömmliches Online-A/B-Testing zu ersetzen“. Sein Maßstab für die „reale Leistung“ war die Ranking-Genauigkeit auf zurückgehaltenen Film- und Amazon-Fashion-Logs, nicht ein Live-Test.

UserArena basiert auf 64.729 aufgezeichneten Sessions auf dem, was das Paper „eine der größten E-Commerce-Plattformen Asiens“ nennt, ohne sie zu benennen. Die Autoren arbeiten an der Universität Leiden, der Renmin University of China, der Chinesischen Akademie der Wissenschaften und bei Alibaba Group, die die Arbeit über ihr Innovative Research Program gefördert hat. Sie haben den zweispaltigen Empfehlungs-Feed und die Produktseiten der Plattform nachgebaut, sodass ein Simulator scrollen, Artikel öffnen, in den Warenkorb legen und kaufen kann. Auf Bekleidung entfielen 54,90 % der protokollierten Artikelklicks.

Die entscheidende Prüfung spielt einen produktiven A/B-Test durch jeden Simulator nach. Die Autoren ließen die beiden Ranking-Policies des Tests auf einem eingefrorenen Pool von 10.000 simulierten Nutzern laufen, gleichmäßig auf die beiden Arme verteilt. Anschließend setzten sie die simulierte Differenz bei der Klickrate pro Seitenaufruf ins Verhältnis zur online gemessenen Differenz. Dieses Verhältnis ist der Score: 1,0 bedeutet, dass der Simulator genau so reagierte wie echte Käufer.

OPTD, die vom Paper eingeführte Trainingsmethode, bildete 71 % des Live-Effekts ab. Vier trainierte Konkurrenten, STA, Customer-R1, Shop-R1 und AlignUSER, laufen auf demselben kleinen Qwen-Modell, das die Modellgröße konstant hält, während Prompting, Gedächtnis, Beobachtungsmodus und Nachtraining variieren. Der beste von ihnen, STA, bildete weniger als 30 % ab.

Die schwächsten Simulatoren sahen von der Änderung fast nichts. AlignUSER, das Bougie und Kollegen zur Evaluierung von Recommender-Systemen gebaut haben, kam auf 2 %. Das unangepasste Qwen-Modell kam auf 0,4 %. Ein Team, das sich auf einen der beiden verlassen hätte, hätte das neue Ranking für nahezu wirkungslos gehalten.

Die Allzweckmodelle von OpenAI irrten in die andere Richtung. GPT-6 Sol, unter „More models“ geführt als gebaut für „komplexes Coding und agentische Workflows“, setzte den Effekt auf das 1,576-Fache des realen. Das als Flaggschiff gelistete Astra wurde nicht getestet. GPT-6 Luna, das OpenAI sein „effizientestes Modell“ nennt, mehr als verdoppelte den Effekt.

In der Fehlerspalte von Tabelle 3 liegt GPT-6 Sol auf dem zweiten Platz, was einen Unterschied in der Art des Fehlers verdeckt. Seine Überschätzung von 58 % ist ein kleinerer Fehler als die Unterschätzung jedes trainierten Simulators außer OPTD. Die beiden Fehlertypen führen in entgegengesetzte Richtungen in die Irre: Der eine bläht eine Änderung auf, der andere schrumpft sie, im schlimmsten Fall auf fast nichts.

Protokolliertes Verhalten zu treffen ist eine andere Fähigkeit, als eine Änderung nachzubilden. Im Einzel-Session-Test des Papers war der Klickraten-Fehler von Customer-R1 mit 0,0227 der zweitkleinste, nur hinter dem von OPTD. Beim Nachspielen des Live-Tests bildete es 19 % des Effekts ab. Die beiden Tabellen verwenden unterschiedliche Klickmetriken, in der einen Klicks pro Feed-Aktion, in der anderen pro Seitenaufruf, die Zahlen sind also nicht austauschbar; ein niedriger Fehler gegenüber den Logs übertrug sich nicht auf den A/B-Replay.

Die Validierung beruht auf diesem einen Test, und der Anhang lässt die meisten Einzelheiten aus. Er nennt weder Laufzeit noch Traffic-Volumen noch die Größe des gemessenen Effekts. Er sagt auch nicht, was sich zwischen den Rankings geändert hat, außer welche Artikel gezeigt wurden. Ohne Konfidenzintervall auf einer der beiden Seiten kann das Paper nicht belegen, dass sich der Wert von AlignUSER von null unterscheidet.

Der Test misst zudem Klicks, nicht Verkäufe, und Außenstehende können ihn mit der Veröffentlichung nicht erneut durchführen. Die Warenkorbraten- und Endergebnis-Metriken des Papers vergleichen simulierte Sessions mit protokollierten, nie mit dem Live-Test. Die Projektseite versieht ihre Beispiel-Trajektorien mit dem Hinweis, dass ein protokolliertes „Buy“ „keine Bestätigung der Zahlung“ sei. Das öffentliche Repository enthält 535 zurückgehaltene Sessions und den Scoring-Code für die Haupttabelle, während die Projektseite den vollständigen Datensatz mit „Release planned“ aufführt.

Ein separater Turing-artiger Test fragte, ob einzelne Trajektorien menschlich aussehen, und die von OPTD waren unter vieren am schwersten zu erkennen. Annotatoren mit Erfahrung in Recommender-Systemen oder Annotation verglichen echte und simulierte Trajektorien nebeneinander, ohne zu wissen, welche welche war. Wenn sie sich bei den Paaren von OPTD auf einen Tipp festlegten, nannten sie in 59,5 % der Fälle die Maschine, nach unserer Rechnung aus den Gewinnraten von 38,7 % und 26,3 % im Paper. Wie ein einzelner Käufer auszusehen ist ein anderer Test, als wie eine Menge von ihnen zu reagieren.

Der stärkste Einwand lautet, dass ein Ranking-Team nur die Richtung eines Effekts braucht, und die hatten alle Simulatoren richtig. Wenn jeder Simulator jede Änderung um einen eigenen festen Faktor schrumpft oder aufbläht, bleibt die Reihenfolge der Kandidaten-Rankings erhalten, und STA würde trotz seines niedrigeren Scores genauso zuverlässig Gewinner auswählen wie OPTD. Damit die These fällt, müsste dieser feste Faktor existieren.

Ein einzelner Test kann nicht zeigen, dass es einen solchen Faktor gibt, denn ein konstantes Schrumpfen und eines, das mit der Art der Änderung variiert, sehen bei einem einzigen Paar gleich aus. Beim Training steigt der Einsatz. Wird ein Recommender gegen einen Simulator abgestimmt, der ein Fünftel jeder Änderung registriert, hat er kaum ein Signal, an dem er sich hocharbeiten kann. Aufblähung richtet einen anderen Schaden an: Sie belohnt den Recommender dafür, dem nachzujagen, worauf der Simulator überreagiert.

OPTD ist die Methode der Autoren, bewertet nach dem Protokoll der Autoren, anhand eines Tests, den nur sie wiederholen können.

Jede Plattform mit einem Archiv vergangener A/B-Tests besitzt bereits das Rohmaterial, das UserArena genutzt hat. Eine Handvoll davon durch einen Simulator nachzuspielen, bevor man irgendetwas darauf abstimmt, setzt keinen Kunden einem schlechteren Ranking aus. Wer diesen Schritt auslässt, überlässt einem unkalibrierten Käufermodell die Entscheidung, welche Rankings echte Käufer zu sehen bekommen.