Research & Trends

Shopify-Forscher führen den Vorsprung des generativen Empfehlungssystems auf Popularität zurück

Ein Shopify-Paper zeigt: Popularität macht den größten Teil des Vorsprungs aus, den ein Semantic-ID-Empfehlungssystem beim „Wert“ gegenüber Dense Retrieval hat, und ein einziger statischer Score pro Produkt gibt diesen Vorsprung dem Dense Retriever. Auf internen Daten unterlag zudem ein Modell mit 14 Milliarden Parametern einem weit kleineren Encoder. Händler sollten generative Systeme daher erst bei Neuware der Saison an dieser günstigen Baseline messen, bevor sie dafür zahlen.

A nautilus at a toyshop counter watches brass scales tip toward a small card-index box labelled popularity, stars and brand, away from a towering machine stamped 14B.

Neritus Vale

Popularität macht den größten Teil des Vorsprungs aus, den ein generatives Empfehlungssystem gegenüber seinem Dense-Konkurrenten beim „Wert des besten relevanten Artikels“ hatte, berichten Shopify-Forscher. Ihr Paper, am 13. Oktober von Renbo Tu, Yang Liu und Shuying Sun auf arXiv veröffentlicht, zeigt: Ein einziger statischer Score pro Produkt, dem Dense Retriever hinzugefügt, kehrt diesen Vorsprung um. Auf internen E-Commerce-Daten verlor außerdem ein Semantic-ID-Modell mit 14 Milliarden Parametern gegen einen rund 47-mal kleineren Encoder.

Die beiden Verfahren finden Kandidaten auf unterschiedliche Weise. Generative Retrieval schreibt die Semantic ID eines Produkts Token für Token aus. Beim Dense Retrieval, einem seit Langem etablierten Standard, teilen sich Käuferhistorie und Katalog einen Embedding-Raum, und der Retriever liefert die nächstgelegenen Produkte. Auf öffentlichen Daten lesen die Autoren beide aus einem gemeinsam trainierten Modell auf Basis von LIGER aus, einem Hybrid aus beiden Ansätzen, sodass sich die Arme „hauptsächlich in ihrem Retrieval-Readout unterscheiden“.

Welches Verfahren gewinnt, hängt davon ab, was bewertet wird. Auf den Amazon-Rezensionen zu Toys & Games fand der Dense-Readout das jeweils nächste Produkt jedes Nutzers bei 50 Treffern häufiger, in der Version von 2014 um mehr als ein Drittel. Der generative Readout gewann bei einem Score, der das wertvollste Produkt derselben Kategorie in jeder Liste vergleicht.

Wert hat in diesem Paper nichts mit Preis zu tun. Jedes Produkt erhält einen statischen Score aus Katalog-Perzentilen: zur Hälfte „Markenpräsenz“ (brand footprint), der Rest gleichmäßig aufgeteilt auf Popularität und eine Sternebewertung, die bei wenigen Rezensionen abgewertet wird. Die Autoren nennen ihn „einen transparenten Proxy für den Artikelwert“; Marge, Bestand oder Abverkaufsquote fließen nicht ein. Nach diesem Maß lagen die jeweils besten Produkte beider Listen bei etwa sieben von zehn der Nutzer, die beide Methoden abdeckten, höchstens 0,05 auseinander.

Popularität leistete mehr, als ihr Gewicht vermuten lässt. Bei den Nutzern, bei denen die generative Liste gewann, steuerte sie 49,8 % des Vorsprungs auf den Daten von 2014 bei und 65,4 % auf dem weit größeren Katalog von 2023.

Als mögliche Erklärung bieten die Autoren wiederholte Exposition an: Ein Modell, das Produktcodes vorhersagen soll, sieht manche weit häufiger als andere und lernt womöglich, sie zu bevorzugen. Zur Stützung führen sie eine Spearman-Korrelation von 0,582 an.

Dann gaben die Autoren dem Dense Retriever denselben Score. Ihre DR+prior-Methode, die „kein erneutes Training und keinen Decoder im Serving“ braucht, sortiert die eigenen Top-200-Kandidaten des Retrievers nach dem gleichgewichteten Mittel aus Ähnlichkeit und Produkt-Score neu. Auf den Daten von 2014 wurde aus dem Rückstand beim besten Artikel ein Vorsprung von 0,023 auf einer Skala von null bis eins; 2023 betrug der Vorsprung 0,006. Ihre Listen schlugen die generativen Listen weiterhin beim Recall und erzielten auf beiden Datensätzen den höchsten Wert für die gesamte Liste.

Nichts an diesem Score weiß, wer gerade einkauft.

Die Umkehrung ist zum Teil eingebaut. Der Prior addiert genau den Score, den die Wertmetrik zählt, und die Autoren legen den Test entsprechend an: Er „prüft, ob ein expliziter Katalog-Prior den gemessenen Vorsprung von GR reproduzieren kann“. Er zeigt, dass der Vorsprung keinen Decoder braucht.

Der Größenvergleich aus dem Abstract stammt aus einem separaten, lockereren Test. Auf internen E-Commerce-Daten trat ein Qwen3-Modell, das Semantic IDs schreibt, gegen einen GTE-Encoder mit rund 300 Millionen Parametern an und erzielte bei NDCG@50 0,453 gegenüber 0,474 für den Encoder (n=5.998), ohne Angabe eines Intervalls. Weil sich die beiden nicht nur in der Größe, sondern auch im Backbone unterscheiden, sagt das Paper, der Test „kann den Effekt der Retrieval-Architektur nicht isolieren“.

Dem Sprachmodell-Judge hinter den industriellen Scores widmet das Paper einen Satz. Der Judge wurde „mit 250 menschlichen Labels kalibriert“ und bewertet jeden Kandidaten von null bis eins; ein Judge-Modell oder eine Übereinstimmungsrate wird nicht genannt. Unter ihm hob der statische Score den Encoder um weitere 11,8 % an. Das Paper verweist auf frühere Arbeiten, die generative Popularitätsverzerrung auf „inhärente Verzerrungen in LLMs“ zurückführen; seine eigene Erklärung ist wiederholte Exposition im Training. Ob sein Judge populäre Produkte bevorzugt, prüft es nie.

Unsere frühere Berichterstattung wies in die andere Richtung, wenn auch auf anderer Evidenzbasis. Im Mai schrieben wir, Papers von Meta und Shopee „lösen Two-Tower als Standard für jeden Katalog ab, der groß genug ist, dass Personalisierung die Marge bewegt“. Diese Papers betrafen Serving-Infrastruktur, nicht Wertmetriken. Im Februar nannte ein Shopify-Engineering-Beitrag von Yang Liu und Ali Khanafer Semantic IDs eine „vielversprechende“ Richtung; das Paper zitiert ihn nicht. Tu, Liu und Sun verorten einen Teil des generativen Vorsprungs im Katalog, wo ein etablierter Retriever ihn erreichen kann. Hält das auch jenseits von Spielzeug, hat der Platzhirsch mehr Leben in sich, als unsere Mai-Schlagzeile ihm zugestand.

Der stärkste Einwand lautet, Popularität sei im Handel kein Makel, denn ein Modell, das lernt, welche Bestseller zu einem bestimmten Käufer passen, personalisiere eben. Das gilt nur, wenn diese Treffer auf eine Weise von der Historie des einzelnen Käufers abhängen, die ein einziger shopweiter Score nicht nachbilden kann. Das Paper kann das nicht bestätigen: Seine Metrik zählt denselben Score, den der Prior liefert, und registriert daher keine persönliche Passung. Es zeigt lediglich, dass der gemessene Vorsprung auch ohne jedes käuferspezifische Signal Bestand hat.

Die Lösung hat ihren Preis, und ein Modekatalog würde ihn zahlen. Der Prior senkte den Recall@50 des Dense Retrievers auf den Daten von 2014 von 0,228 auf 0,210. Von 296 Testprodukten, die im Training nicht vorkamen, fand das generative Modell keines, eine verwandte Erreichbarkeitsgrenze, über die wir berichtet haben. Der Prior drückte die Treffer des Dense Retrievers bei solchen Produkten von 47 auf 36 (2014) und von 27 auf 21 (2023). Ein Shop, der jede Saison eine Kollektion bringt, lebt von Produkten ohne Historie. Ein Score, der zur Hälfte auf Popularität und Bewertungen beruht, wird sie vermutlich niedrig einstufen, auch wenn die Hälfte „Markenpräsenz“ Neuware etablierter Labels anheben mag.

Für einen Modeeinkäufer ist die Beleglage dünn. Die öffentlichen Daten sind Spielzeugrezensionen, und eine Rezension ist kein Kauf. Das Paper sagt nicht, wessen Käufer oder Katalog den industriellen Datensatz füllen, und der veröffentlichte Code reproduziert nur die öffentlichen Ergebnisse. Zudem lässt es die Methoden gegeneinander antreten, obwohl Shopifys Februar-Beitrag sagt, ein produktives Empfehlungssystem sei „meist ein Ensemble“, in dem ein Retriever seinen Platz damit verdient, dass er findet, was andere übersehen.

Für Händler macht das Paper aus einem Verkaufsgespräch einen Test. Fragen Sie, was die „Wert“-Metrik des Anbieters enthält und ob das Modell bei Neuware der Saison noch gewinnt, wenn der bestehende Retriever denselben Produkt-Score bekommt. Die Autoren nennen Dense Retrieval mit statischem Prior „eine nützliche Baseline für künftige GR-Systeme“. Ein Modell, das sie nicht schlägt, hat Parameter gekauft, um die Bestsellerliste neu zu entdecken; der günstigere Weg ist ein Produkt-Score und ein Reranking-Schritt.

Verwandte Artikel