Ein generativer Recommender kann kein Produkt ranken, das er nie ausbuchstabiert
Recommender auf Basis von Semantic IDs müssen den Code eines Produkts ausschreiben, bevor sie es bewerten können. Ein arXiv-Paper vom 9. Oktober misst, wie oft ein endlicher Beam das verhindert. Die vorgeschlagene Lösung bewertet den gesamten Katalog und steigert die Genauigkeit, doch selten bewertete Produkte gehen weiter verloren, und die Top-10-Reichweite sank bei einem Datensatz. Händler sollten ihre Anbieter deshalb nach der Katalogreichweite je Umsatzquartil fragen.

Neritus Vale
Ein generativer Recommender auf Basis von Semantic IDs muss den Code eines Produkts ausbuchstabieren, bevor er es ranken kann. Ein Produkt, dessen Code der Beam nie schreibt, wird für den jeweiligen Shopper gar nicht erst bewertet. In “Beyond Semantic IDs”, am 9. Oktober bei arXiv eingereicht, nennen Yu Sun und acht Co-Autoren die daraus folgende Grenze eine “finite-beam reachability ceiling”, also eine Erreichbarkeitsgrenze bei endlichem Beam, und vermessen sie. Ihre Ergebnisse zeigen eine Obergrenze, die von Entscheidungen abhängt, die ein Händler nie zu sehen bekommt, und eine Lösung, die die Genauigkeit erhöht, ohne zuverlässig zu erweitern, was Shoppern angezeigt wird.
Semantic IDs ersetzen die beliebige Katalognummer eines Produkts durch einen kurzen Code, bei dem sich ähnliche Produkte die ersten Ziffern teilen. Sudeep Das von DoorDash vergleicht sie mit „Postleitzahlen für Ihre Artikel“. Recommender vom Typ TIGER sagen das nächste Produkt eines Shoppers voraus, indem sie dessen Code Ziffer für Ziffer schreiben. Eine Beam Search behält in jedem Schritt nur die vielversprechendsten Teilcodes und verwirft den Rest. Wird der Anfang eines Produktcodes verworfen, schreibt der Beam ihn nie zu Ende, und das Modell bewertet das Produkt nie.
Für ein gegebenes trainiertes Modell und ein gegebenes Beam-Budget begrenzt diese Obergrenze, wie oft der nächste Kauf eines Nutzers in der ausgegebenen Liste auftauchen kann, selbst wenn sein Code gültig ist. Die Autoren halten fest: „a target that never enters the candidate set cannot be recovered later“ (ein Ziel, das nie in die Kandidatenmenge gelangt, lässt sich später nicht zurückholen). Sie sagen das über einen Reranker, der nur den dekodierten Beam sieht. Greifen Merchandising-Regeln erst nach dem Retrieval, wirkt ein Boost für ein neues Label nur auf das, was der Beam zurückgeliefert hat.
Auf MovieLens-1M, einem öffentlichen Datensatz mit Filmbewertungen, ließ das TIGER-artige Modell der Autoren bei 33,3 % der als Nächstes von den Nutzern bewerteten Filme diese außerhalb seiner 100er-Listen. Eine doppelt so lange Liste, die einen breiteren Beam erfordert, senkte die Fehlquote auf unter ein Viertel. Die Autoren lesen das als „a finite-compute trade-off, not an architecture-invariant catalog ceiling“ (einen Kompromiss bei endlicher Rechenleistung, keine architekturunabhängige Katalogobergrenze). Das unten beschriebene kontinuierliche Modell verfehlt bei 100 Einträgen 32,7 %, und der Text des Papers trennt den Ausschluss durch den Beam nicht vom gewöhnlichen Ranking-Fehler. Die Beam-Breite ist für den Anbieter ein Kostenfaktor und für den Händler eine Reichweitengrenze.
Am härtesten trifft es Produkte mit der kürzesten Historie. Die Autoren berechnen die Trefferquote je Film und mitteln sie dann innerhalb von Quartilen der Trainingshäufigkeit. Bei 100 Einträgen und Seed 42 lag die Trefferquote des Code-Modells im Viertel der Filme mit den wenigsten Trainingsbewertungen bei 25,8 % und im Viertel mit den meisten bei 68,6 %. Ein anderes Team berichtete, dass die meisten verfehlten Ziele „within the first two decoding steps“ (innerhalb der ersten zwei Dekodierschritte) aussortiert werden. Seine Analyse ist vorläufig und deckt Beauty, Instruments und Yelp ab. Die Quartile bilden ab, wie oft ein Film bewertet wurde, nicht wie neu er ist. Die Übertragung auf Mode ist daher eine Analogie: Die erste Kollektion eines jungen Labels würde auf einem Marktplatz im selten gekauften Viertel starten.
Semantic IDs werden als Freund des Long Tail angepriesen. Der Abstract von TIGER berichtet von besserem Retrieval für Artikel ohne bisherige Interaktionshistorie, und der Empfehlungsanbieter Shaped führt die Codes als „coming soon“ und beschreibt sie als „designed to improve generalization on new and long-tail items without sacrificing overall ranking quality“ (darauf ausgelegt, die Generalisierung bei neuen und Long-Tail-Artikeln zu verbessern, ohne die Gesamtqualität des Rankings zu opfern). Die Formulierung lehnt sich eng an eine Studie von 2023 zum Ranking-Modell von YouTube an.
Die übrige Evidenz ist weniger direkt. In einem 21-tägigen Onlinetest stellte DoorDash fest, dass ein Ranking-Update, das Semantic-ID-Features mit anderen Änderungen kombinierte, die durchschnittliche historische Beliebtheit des obersten Karussell-Produkts um 18,1 % senkte. In beiden Studien, bei YouTube wie bei DoorDash, wurden die Codes an einen Ranker übergeben, der weiterhin jeden Kandidaten bewertet. TIGER versprach Gewinne bei Kaltstart-Artikeln für das Modell, das die Codes schreibt, und „Beyond Semantic IDs“ misst die Genauigkeit bei Kaltstart-Artikeln nicht. Die Behauptung ist hier also ungeprüft, nicht widerlegt.
Die Lösung des Papers schafft das Ausbuchstabieren ab. Das Modell CQG-Single verwandelt die Historie eines Nutzers in eine einzige kontinuierliche Anfrage und bewertet den gesamten Index dagegen. Es schlug die TIGER-artige Baseline in allen sieben Trainingsläufen auf den Filmdaten, mit 55,3 % so vielen trainierbaren Parametern. Das ist Dense Retrieval, der Ansatz, den generative Decoder ersetzen sollten, und die Autoren geben ihn nicht als neu aus.
Ein Produkt kann bewertbar sein und trotzdem niemandem angezeigt werden.
Der stärkste Einwand macht kurze Listen statt des Beams für den fehlenden Long Tail verantwortlich. Damit das zutrifft, müsste der Verzicht auf den Beam langsam drehende Artikel dort lassen, wo sie waren, und auf den Filmdaten tat er das fast. Das kontinuierliche Modell fand nächste Käufe aus dem unteren Viertel in 26,4 % der Fälle, kaum häufiger als das Code-Modell, und zeigte denselben Gradienten bis zu 70,0 % im oberen Viertel. Ein Ergebnis ging in die andere Richtung: Bei geringen Tiefen blieb das Code-Modell für manche seltenen Filme stärker, wobei die Autoren berichten, dass Beauty dies nicht reproduziert. Der Einwand erklärt die Genauigkeitswerte. Er kann aber nicht sagen, welche Grenze, der Beam oder das Ranking, ein bestimmtes Produkt verbirgt.
Die Reichweite war nicht die Schwäche des Code-Modells. Über alle Nutzer gepoolt bei Seed 42 berührten seine Top-100-Listen 97,0 % der Filme, 96,3 % der Beauty-Produkte und 99,5 % der Sportprodukte. Die Obergrenze schlägt also Shopper für Shopper zu, nicht katalogweit.
Auch erweiterte der Verzicht auf den Beam nicht zuverlässig, was Nutzer zu sehen bekamen. Bei den Sportdaten war das kontinuierliche Modell genauer, doch seine Top-10-Listen, über alle Nutzer gepoolt bei Seed 42, berührten 63,1 % des Katalogs, gegenüber 94,0 % beim Code-Modell. Der Text des Papers erwähnt nur die Reichweitengewinne bei Beauty und, bescheidener, bei den Filmen.
Die Reichweite hängt zudem davon ab, wie die Codes gebaut werden. Eine zweite Variante, näher am ursprünglichen TIGER-Rezept, brachte 44,0 % ± 13,7 % des Beauty-Katalogs in mindestens eine Top-100-Liste eines Nutzers (Mittel über drei Seeds), im am wenigsten bewerteten Viertel waren es 14,0 % ± 7,6 %. Die Autoren sagen, diese Variante liege unter dem Referenz-TIGER und ihre Werte dürften nicht auf einen vollständig reproduzierten TIGER-Checkpoint verallgemeinert werden. Sie zeigt dennoch, dass die Reichweite zu einem bestimmten Build gehört, nicht zur Methode.
Der veröffentlichte Decoder von Shopee deutet in dieselbe Richtung. UniRec, auf dem Marktplatz von Shopee im Einsatz, nennt als Ziele, Token Collapse zu unterdrücken und den Traffic über die Codebook-Einträge auszubalancieren, und ergänzt „exposure-weighted capacity penalties“ (expositionsgewichtete Kapazitätsstrafen), um einen „hereditary Matthew effect“ zu dämpfen, den Sog hin zu Produkten, die sich ohnehin schon verkaufen. Wenn ein Produktivsystem so abgestimmt wird, kann ein Händler, der nicht sieht, wo solche Einstellungen sitzen, nicht davon ausgehen, dass der Long Tail sie übersteht. Das ist ein Schluss aus einem einzelnen System, kein Befund des Papers.
Am schwächsten ist das Paper bei den beiden Dingen, die Bekleidungskataloge ausmachen: Größe und ständige Neuheit. Seine drei Datensätze sind klein und öffentlich, der größte enthält 12.101 Beauty-Produkte, und einer davon sind Filme. Die Auswertung läuft offline, ohne Produktivtraffic: Die letzte Interaktion jedes Nutzers wird verborgen, und das Modell muss sie finden. Die Haupttabellen verwenden einen einzigen Seed, 42. Bei Beauty überlappen sich die 95-%-Intervalle der beiden Modelle, und der Gewinn von 0,0107 Recall@10 bei den Filmen hat ein Intervall von 0,0021 bis 0,0193.
Die Autoren nennen ihre Baseline schwächer als veröffentlichte Systeme und sagen, Latenz im Produktivbetrieb, Speicherbedarf, Kosten für Index-Updates und Genauigkeit bei neuen Artikeln seien „remain unmeasured“ (weiterhin ungemessen). Ihre Lösung trainiert in jedem Schritt gegen den gesamten Katalog, ein Aufwand, der mit dem Katalog wächst und nur bei diesen Größen getestet wurde. Eine Variante mit gesampelten Negativen ist günstiger, und die Autoren sagen, sie behalte eine Leistung nahe der TIGER-artigen Baseline. Eine SASRec-Baseline mit vollem Ranking schnitt bei den Sportdaten zudem besser ab als das kontinuierliche Modell.
Der nützliche Schritt des Papers ist, eine Frage in zwei zu teilen. Die erste lautet, wie oft das Modell findet, was ein Shopper wollte. Die zweite, wie viel vom Katalog es überhaupt jemandem zeigt. Anbieter sollten die zweite auf dem eigenen Katalog des Händlers ausweisen, nach Umsatzquartil, bei der Listenlänge der Website und der im Livebetrieb verwendeten Beam-Breite. Kann ein Anbieter nur die erste beziffern, kauft der Händler Genauigkeit und unterstellt Reichweite. Die Reichweite lässt sich stattdessen vertraglich festschreiben.