Research & Trends

ByteDances gelerntes Shopping-Feed-Modell hebt Anzeigen weiterhin um eine von Hand gesetzte Zahl an

ByteDances OneTrans-GSR überlässt den Aufbau eines E-Commerce-Feeds einem einzigen Modell, das gegen eine Belohnung für ganze Slates trainiert wird, und meldet Zuwächse bei GMV pro Nutzer, Wiederkäufen und Werbetreibendenwert. Der Werbetreibendenwert steckt nicht in dieser Belohnung, sondern wird über einen konstanten, von Menschen gewählten Anzeigen-Boost gesteuert. Dieser kostet laut dem Sweep des Papers Konversionen der Nutzer, und seine Einstellung im Produktivbetrieb legt das Paper nicht offen.

A typewriter-like machine stamped with a hand-lettered ByteDance logo feeds out a long phone-shaped scroll of product, video, livestream and AD cards between brass rails, while a human hand at the side turns a single brass dial marked β.

Neritus Vale

ByteDances E-Commerce-Ingenieure haben den Aufbau eines Shopping-Feeds an ein einziges gelerntes Modell übergeben und bezeichnen das als Schritt „über von Menschen entwickelte Heuristiken hinaus”. Das Modell entscheidet nun, wo Produktkarten, Kurzvideos, Livestreams und Anzeigen stehen. Wie stark es die Anzeigen nach vorn schiebt, bestimmt im Wesentlichen eine einzige Konstante, die Menschen gewählt haben, und das Paper sagt nicht, auf welchen Wert sie gesetzt wurde.

OneTrans-GSR wurde am 3. November von ByteDances Global E-Commerce Recommendation Foundation Team bei arXiv eingereicht. Es ersetzt das Reranking, das bereits vorgelagert bewertete Artikel auswählt und ordnet, sowie das Mix-Ranking, das Inhalte aus getrennten Geschäftskanälen verschränkt. Ein einziger Decoder schreibt nun den Slate, trainiert per Reinforcement Learning gegen ein Belohnungsmodell, das ganze Slates bewertet. Das Einsatzumfeld wird nur als „ein großes industrielles Empfehlungssystem für E-Commerce” benannt.

Im Live-Test trat die neue Policy gegen die alte Kaskade an. Die Konten wurden eine Woche lang zufällig aufgeteilt, wobei „das Geschäftsregelwerk” konstant gehalten wurde. Ob der Anzeigen-Boost oder das Pendant im alten System zu diesem Regelwerk gehört, sagt das Paper nicht, obwohl die Einleitung „kommerzielles Boosting” unter den handgebauten Regeln des alten Systems aufführt. Der Gross Merchandise Value (GMV) pro Nutzer stieg um 2,63 %, die Wiederkaufrate um 2,03 %; beide Werte sind statistisch signifikant. Den Nenner des GMV definiert das Paper nirgends, und eine Konversionsrate weist es ebenfalls nicht aus.

Das Abstract von GSR verspricht, den Exposure-Slate „Ende-zu-Ende” zu erzeugen, die Einleitung ist vorsichtiger. Kuaishous OneRec-Paper schrieb 2025, es „ersetzt das kaskadierte Lernframework durch ein einheitliches generatives Modell”. Die Einleitung von GSR behält die Regeln im Blick: „What changes is the role of the rules rather than their presence.” Die Regeln bleiben also, ihre Rolle ändert sich.

Die Regeln, die übrig geblieben sind, nennen wir seit Juli Merchandising-Policy. Beim Decoding steuern Masken und Score-Anpassungen den Abstand zwischen Inhaltstypen und Kategorien, die Deduplizierung von Produkten, Exposure-Quoten und die „Anzeigenausspielung”. Eine separate Trainingsbelohnung, mit einem Zehntel des Gewichts der Hauptbelohnung, begünstigt weniger Ermüdung, mehr Entdeckung und Cold-Start-Exposure. Die Autoren räumen ein, dass die Gewichtung der Belohnung „positionsspezifische Anforderungen nicht erzwingen kann”.

Gegenüber dem alten System leisten diese Regeln Arbeit, die das Lernen noch nicht aufgenommen hat. In Offline-Tests ohne die Decoding-Anpassungen zeigten die Slates von GSR 3,41 % mehr Ermüdung als die des alten Systems: mehr wiederholte Ausspielung nicht angeklickter Kategorien. Auch ihr Anteil neuer Artikel sank. Mit eingeschalteten Anpassungen lag die Ermüdung 7,65 % unter der des alten Systems, die Entdeckung blieb allerdings dahinter zurück. Gegenüber nach Score sortierten Baselines senkte die gelernte Policy allein die Ermüdung um 19,41 % bis 40,91 %.

Der Werbetreibendenwert gehört nicht zu den Zielen des Belohnungsmodells; laut Einleitung wird er „während des Decodings kontrolliert”. Die Belohnung mischt vorhergesagte Klicks, Bestellungen, GMV und Wiederkäufe, mit Gewichten, die „als Hyperparameter abgestimmt” und nicht veröffentlicht werden. Dennoch kritisiert das Paper an den handgebauten Systemen, die es ablöst, „manuell abgestimmte Fusionsgewichte”. Für Anzeigen gibt es etwas Gröberes: einen konstanten Boost auf den Score jedes Werbekandidaten; ihn zu erhöhen „tauscht Nutzerengagement gegen Werbetreibendenwert”.

Der Sweep des Papers zeigt, was dieser Regler wert ist. Der Werbetreibendenwert stieg bei jedem getesteten Schritt: um 0,71 % bei einem Boost von 0,05, um 1,83 % bei 0,1 und um 4,61 % bei 0,3, jeweils gemessen gegen keinen Boost, wie das Diagramm es darstellt. Jede Einstellung ungleich null senkte zudem die Konversionsrate auf Nutzerebene, bei den beiden niedrigeren Werten um etwa 0,5 %, beim höchsten um etwa 0,74 %. Die Autoren schließen: „Selecting a production operating point requires considering both outcomes alongside rule compliance.”

Im Produktivbetrieb stieg der Werbetreibendenwert gegenüber der alten Kaskade um 2,06 %, und das Paper sagt nicht, welcher Boost ausgespielt wurde. Die höchste Einstellung des Sweeps brachte allein 4,61 %, allerdings gegen keinen Boost statt gegen das alte System, und ob der Sweep online oder offline lief, steht nicht im Paper. Die Kennzahl wird nie definiert; das Diagramm beschriftet seine Achse mit „ROI2”. Kein Leser kann trennen, was die Policy gelernt hat und wo der Regler stand.

Die Produktionstabelle ist ausführlicher als die von Kuaishou und enthält trotzdem keine Konversionsrate. Der Kuaishou-Anzeigengenerator, über den wir am 2. November berichteten, wurde online allein am Umsatz gemessen; diese Tabelle ergänzt zum GMV pro Nutzer den Werbetreibendenwert, Wiederkäufe und Latenz. Das Paper nennt seine Slate-Prüfungen „Offline-Proxys statt direkter Messungen der Nutzerreaktion”. Weder diese Prüfungen noch die Tabelle zählen die Slots, die an Anzeigen gingen.

Ein Live-Test widersprach dem Urteil des Belohnungsmodells selbst. Ein Arm, der gegen ein einzelnes Belohnungsmodell trainiert wurde, erzielte offline höhere Werte, steigerte den GMV pro Nutzer aber nur um 1,41 %, wie Tabelle 9 zeigt. Die Autoren nennen das „vereinbar mit Fehlern im Proxy-Reward”, eine Gefahr, die OpenAI-Forschende 2023 vermessen haben, sagen aber, der Test könne die Ursache nicht bestimmen. Die 2,63 % des Ensemble-Arms entsprechen dem Hauptgewinn, was nahelegt, dass dies der Scorer ist, den ByteDance ausgeliefert hat.

Stufe für Stufe verlagern ByteDances OneTrans-Paper die Kaskade in Modelle und lassen den Zielkonflikt mit den Anzeigen als Regler außen vor. Im September hat OneTrans-V2 Retrieval und Ranking in einem Transformer zusammengeführt, wobei Anzeigen zu den Zielen gehören, die über einen „Business-Offset” gesteuert werden, dessen „Stärke als Online-Parameter exponiert ist”. Es druckte auch einen Sponsored-Anteil: 33,7 % der Ausspielungen seines Retrievers waren gesponserte Artikel. GSR, vom selben korrespondierenden Autor, nennt für den endgültigen Slate keinen.

Der stärkste Einwand lautet, dass ein Regler das richtige Design ist. Wie viel eines Feeds verkauft wird, ist eine geschäftliche Entscheidung, und eine explizite Einstellung lässt sich leichter prüfen als ein vergrabenes Gewicht. GMV pro Nutzer und Wiederkäufe stiegen unter demselben Regelwerk dennoch. Damit die These scheitert, müsste der Regler kaum eine Rolle spielen: Die Policy würde ähnliche Ergebnisse erzielen, wo immer er stünde.

Die eigene Evidenz des Papers sagt, dass der Regler eine Rolle spielt. Eine Konstante bewegt den Werbetreibendenwert um Beträge, die den Produktivgewinn einrahmen, zu Konversionskosten, die der Sweep festhält. Das Paper definiert keinen GMV-Nenner und weist keine Konversionsrate im Produktivbetrieb aus, sodass diese Kosten kein Gegenstück haben, mit dem man sie vergleichen könnte. Eine explizite Einstellung ist erst prüfbar, wenn sie veröffentlicht wird, und diese ist es nicht.

Das Paper erwähnt weder Bekleidung noch Verkäufer, daher ist alles Folgende für Bekleidungsverkäufer Extrapolation. Würde ein solcher Feed die beworbene Platzierung eines Verkäufers ausspielen, entschiede der Anzeigen-Boost, wie weit eine bezahlte Karte über organische Artikel gehoben wird. Eine Ähnlichkeitsstrafe bewertet zudem jeden Artikel niedriger, der den weiter oben platzierten ähnelt, sodass ein zweites schwarzes Kleid wie das erste darunter landet. Der Produktivwert beider Einstellungen ist nicht veröffentlicht.

ByteDance hat das Layout automatisiert und die Neigung zugunsten der Werbetreibenden als Einstellung behalten.

Berichten Plattformen weiter Werbetreibendengewinne ohne den dahinterstehenden Boost, können Verkäufer ein besseres Modell nicht von einer höheren Einstellung unterscheiden. Das Mittel besteht aus drei Zahlen: dem ausgespielten Boost, der Veränderung der Konversion und dem Anteil der Slots, die an Anzeigen gehen. Keine Rechenleistung entscheidet, wie viel eines Feeds verkauft wird, und ByteDances Paper zeigt, dass es weiterhin eine Entscheidung ist.