Auf die Top Ten getrimmt, verloren Recommender dort an Boden, wo sie Kandidaten an Ranker weiterreichen
In einem Preprint von HKUST und Trip.com schärfte Reinforcement Learning die ersten Treffer generativer Recommender auf vier von fünf Amazon-Review-Datensätzen, senkte aber auf allen fünf den Recall bei 500, also in jenen Hunderten von Kandidaten, die solche Modelle an Ranker übergeben. Die Autoren führen den Verlust auf eine Belohnung zurück, die jedes gesampelte Item außer dem protokollierten als falsch wertet; ein zusätzlicher Term stellte den Recall offline weitgehend wieder her. Getestet wurden weder ein produktives System noch eine Bekleidungskategorie.

Neritus Vale
Generative Recommender bekommen heute routinemäßig eine letzte Runde Reinforcement Learning, bewertet wird vor allem am Kopf der Liste. Ein Preprint von HKUST und Trip.com Group, veröffentlicht am 17. November, schaut weiter nach unten, auf die Hunderte von Kandidaten, die solche Modelle an Ranker weiterreichen. Nach Angaben der Autoren machte RL das Modell auf allen fünf Amazon-Review-Datensätzen zu „einem besseren Ranker und einem schlechteren Retriever“. Ihre Tabellen zeigen den Top-Ten-Gewinn auf vier der fünf Datensätze und den Verlust bei 500 auf allen.
Nach dem Supervised Fine-Tuning (SFT) zieht der RL-Schritt 16 Kandidaten pro Nutzerverlauf; ist darunter das protokollierte nächste Item, belohnt er dieses und drückt die übrigen nach unten. Alle Ergebnisse stammen von einem einzigen Modell, Qwen2.5-1.5B, trainiert mit einem einzigen GRPO-Rezept. In den Ergebnissen des Papers bezeichnet hit@K den Anteil der Testnutzer, deren nächstes Item in den Top K landet, in Prozent; Veränderungen sind in Punkten angegeben. Bei Sports sank hit@10 um 0,18 Punkte; nur hit@5 stieg (+0,20).
| Datensatz | hit@10, SFT → RL | hit@500, SFT → RL | hit@500 mit Fix |
|---|---|---|---|
| Office | 15,97 → 16,41 (+0,44) | 52,84 → 47,69 (−5,14) | 52,14 |
| Industrial | 13,19 → 13,70 (+0,51) | 53,23 → 51,72 (−1,51) | 53,63 |
| Beauty | 4,80 → 5,27 (+0,47) | 37,16 → 36,67 (−0,49) | 37,39 |
| Toys | 5,00 → 5,50 (+0,50) | 35,18 → 35,14 (−0,04) | 35,60 |
| Sports | 3,70 → 3,52 (−0,18) | 29,88 → 29,21 (−0,67) | 30,11 |
Der Gewinn liegt oben, der Verlust darunter. Bei Office kippte der Gewinn etwa beim 20. Ergebnis in einen Verlust, bei Industrial etwa beim 50. Beides ist flacher als jede Produktionsliste, die das Paper auflistet.
Eine nahezu unveränderte Gesamtsumme kann eine Umschichtung verbergen. Toys bewegte sich beim tiefsten Schnitt kaum, doch auf jedem Datensatz fielen mindestens 14 % der Ziele, die das SFT-Modell dort einsortiert hatte, nach dem RL heraus, während Ziele anderer Nutzer hineinrückten. Das verändert, wessen nächstes Item bei einem Ranker ankäme.
Die Autoren führen den Verlust auf das Label zurück. Bei nur einem protokollierten nächsten Item pro Nutzer wertet die Belohnung jeden anderen gesampelten Kandidaten als falsch, obwohl das oft „die nächsten Items anderer Nutzer mit ähnlichem Verlauf“ sind. In dem Beispiel des Papers wird schwarze Tinte, die neben der Farbtinte eines Nutzers gesampelt wird, bestraft und sinkt dann über das gemeinsame Netz auch für einen ähnlichen Nutzer, der als Nächstes genau sie gewählt hat.
Eine Belohnung, die nur die protokollierte Antwort kennt, wertet jede andere plausible Antwort, die daneben gesampelt wird, als Fehler.
Die Ablationen deuten in dieselbe Richtung. Bei Office und Industrial verschwanden in Einzelläufen mit synchronisiertem Referenzmodell mit den Strafen sowohl der Verlust als auch der Gewinn. In einem einzelnen Office-Lauf verloren Nutzer, deren nächstes Item die schwersten Strafen erhalten würde, am tiefsten Schnitt 23,4 Punkte.
Veröffentlichte Tests des RL-Schritts liegen meist dort, wo der Gewinn liegt. Kuaishous OneSearch-V2 vergleicht, wie das Paper anmerkt, seine Modelle mit und ohne RL anhand der ersten zehn Ergebnisse. Bei den eigenen Modellen des Papers „sieht die Standardprüfung den Gewinn und nichts vom Verlust“ (Quelle).
Industrielle Listen reichen weit tiefer. Der Überblick des Papers nennt Post-Training und Kandidaten pro Anfrage dieser Systeme; bei Kuaishou sind es End-to-End-Generatoren, die auch als Retrieval für ein Reward-Modell laufen. Keines wurde in der Studie getestet.
| System | Post-Training | Kandidaten |
|---|---|---|
| OneRec (Kuaishou) | DPO, ECPO | 512 |
| OneRec-V2 (Kuaishou) | GBPO | 512 |
| OneSearch (Kuaishou) | DPO | 512 |
| OneSearch-V2 (Kuaishou) | GRPO | 512 |
| TSGR (Taobao) | GRPO (getestet, nicht ausgerollt) | 1.500 |
| GrowthGR (Taobao) | GRPO | 1.000 |
| EG-GRPO (Tmall) | GRPO | 100 |
| GenR-PO (JD) | DPO | 100 |
| PinGER (Pinterest) | DPO | 100 |
| GenRec (JD) | GRPO | nicht angegeben |
Der Bericht von Shopify, hier am 9. November besprochen, zeigt ein verwandtes Problem mit einem anderen Label. Die Suchmodelle wurden auf die Bewertungen eines Relevanz-Judges getunt, per Supervised Learning, DPO oder GRPO, und das steigerte die beurteilte Qualität, senkte aber den Purchase-Recall in den Top Ten. Die Autoren machen Exposure Bias in der Metrik verantwortlich, die „Alternativen abrufen kann, die beim Purchase-Recall keine Anrechnung erhalten“. Sie fügen hinzu, der Rückgang „klärt nicht, ob diese Alternativen zu mehr oder weniger Käufen führen würden, wenn sie angezeigt würden“. In der HKUST-Studie bestraft die Belohnung plausible Alternativen; bei Shopify kann die Metrik sie nicht anrechnen.
Der Fix, Out-of-Rollout-Anchoring, fügt einen einzigen Loss-Term hinzu. Die KL-Bindung von GRPO selbst übersieht die abfallenden Items, weil sie nur auf dem Rollout berechnet wird. Für jeden Prompt zieht der Anker 16 Items von außerhalb des Rollouts, nahe Nachbarn der Kandidaten, die deren führende Semantic-ID-Codes teilen, und hält die Policy an der Reihenfolge des SFT-Modells für diese Items fest. Die letzte Spalte der Tabelle zeigt, wie viel Recall zurückkehrt. An der Spitze unterschied sich das verankerte Modell in keinem Seed auf keinem Datensatz signifikant von GRPO, und das Paper nennt keine Trainingszeit.
Keiner der Datensätze ist eine Bekleidungskategorie. Beauty, Toys und Sports stammen aus Amazon-Review-Daten, die das Paper McAuley et al. (2015) zuschreibt; jenes Paper handelt davon, welche Kleidungsstücke zusammenpassen, und das Beispiel für Alternativen in seinem Abstract lautet „zwei Paar Jeans“. Sollte sich der Mechanismus auf Mode übertragen, wären die Substitute, die die Belohnung bestraft, oft genau das, was ähnliche Kundinnen und Kunden kaufen.
Der stärkste Einwand ist die Größenordnung. Diese Kataloge sind klein: Der tiefste Schnitt deckt 14 % des kleinsten ab, und die größeren Kataloge verloren weniger als einen Punkt.
Das Paper relativiert diesen Vergleich selbst. Seine Hyperparameter wurden für Beauty, Toys und Sports nicht abgestimmt, deren SFT-Modelle sind schwächer, und ihre Rollouts enthalten das Ziel nur in 11–24 % der Fälle; die kleineren Verluste könnten also auf ungetuntes RL zurückgehen und nicht auf die Kataloggröße. Auch Produktionsbelohnungen sehen anders aus: GR4AD-X, der Kuaishou-Anzeigengenerator, den wir am 2. November besprochen haben, wird mit Umsatzschätzungen belohnt, nicht mit einem protokollierten nächsten Item. Damit die These scheitert, müsste der Druck hinter dem Verlust im Produktionsmaßstab oder bei solchen Belohnungen nachlassen.
Zwei Industrie-Papers berichten Symptome, die mit diesem Druck vereinbar sind, auch wenn HKUST sie als Einzelbeobachtungen behandelt. Pinterests PinGER, per DPO auf die Präferenzen seines Rankers getunt, schreibt, der Recall „bricht innerhalb weniger tausend Schritte ein“ (Quelle), wenn der DPO-Term allein läuft. Taobaos TSGR, belohnt durch die Top-Picks eines Rankers, maskiert die Belohnungen seiner mittleren Kandidaten, damit GRPO nicht „mehrdeutige Kandidaten fälschlich unterdrückt“, die in seine Top 1.000 gehören könnten. Reines GRPO steigerte dort HR@1000 um 0,02 %; die Version mit Reward-Masking und DPO-Augmentierung steigerte es um etwa 0,5 %, was die Autoren für einen Rollout als zu geringfügig einstuften.
Falls der Effekt in der Produktion auftritt, tauscht ein RL-Schritt, der nur an der Spitze verankert ist, die Kundschaft in der Listenmitte gegen einen besseren Top-Ten-Wert. Die Autoren empfehlen, RL „in der Tiefe zu evaluieren, in der das Modell eingesetzt wird“. Welche Tiefe berichtet wird, entscheidet das Team; die Kundschaft in der Mitte hat dabei kein Mitspracherecht.