Research & Trends

Mischt man den Katalog eines kleinen Shops durch, wählt die KI etwas anderes aus

Googles RPTune-Paper zeigt: Ein Long-Context-Modell kann den gesamten Katalog eines kleinen Shops lesen, doch seine Auswahl hängt dann von der Reihenfolge ab, in der es liest. Ein trainierter Kurator, der ein Viertel der Liste behält und die besten Kandidaten ans Ende setzt, schlug den vollständigen Katalog bei jedem Modell und in jedem getesteten Shop. Erreichen so gebaute Assistenten kleine Mode-Shops, übernimmt die Reihenfolge im Prompt die Rolle der Regalplatzierung – und der Händler legt sie nicht fest.

A nautilus in a naval coat kneels at the end of a long paper scroll of shop goods, sliding three lipsticks under the glass eye of a brass reading machine, while an empty clothes rail stands in the shop window behind.

Admiral Neritus Vale

Gibt man einem Sprachmodell den gesamten Katalog eines kleinen Kosmetikshops, bittet um einen langanhaltenden Beeren-Lippenstift, mischt dann die Liste und fragt erneut, wählt es womöglich ein anderes Produkt. RPTune, diese Woche von Google-Forschern, darunter Chuxuan Hu und Sercan Ö. Arık, auf arXiv veröffentlicht, kommt zu dem Ergebnis, dass kleine Shops die Retrieval-Stufe überspringen können, die Auswahl des Modells dann aber von der Reihenfolge abhängt, in der es liest. Erreichen so gebaute Assistenten kleine Shops, wirkt die Reihenfolge im Prompt wie eine Regalplatzierung – bestimmt von dem, der den Kurator trainiert, der sie festlegt.

Auf dem eigenen Benchmark der Studie schlug das Lesen des ganzen Shops das Retrieval. Über die vom Team analysierten Shopify-Storefronts hinweg umfasste der mediane Katalog 51.000 Token, kurz genug, um einem Modell alle Produkte auf einmal zu zeigen. Retrieval zeigt ihm stattdessen eine Shortlist, die das richtige Produkt auslassen kann – genau das Versagen, das wir am 25. September untersucht haben. Mit dem vollständigen Katalog nannte Gemini 3.7 Flash im Durchschnitt mindestens neun Prozentpunkte häufiger exakt die richtige Variante als jede Suchpipeline, die das Team ausprobierte.

Modelle lesen einen langen Katalog ungleichmäßig, und der Benchmark wurde auf dieser Schwäche aufgebaut. Die Studie Lost in the Middle von 2023 stellte fest, dass sie die Mitte einer langen Eingabe oft schlechter nutzen als deren Anfang und Ende. Gemini 3.1 Pro formulierte die Shopper-Anfragen des Tests und beantwortete jede über wiederholt durchgemischte Kataloge. Die Autoren behielten die 31,9 % der Kandidatenanfragen, bei denen die Lieblingsantwort des Modells in einem mittleren Anteil der Durchläufe gewann, und machten diese Lieblingsantwort zur Referenzantwort; Ties entschieden menschliche Expertinnen und Experten. Die zentralen Ergebnisse beruhen also auf synthetischen Anfragen, die gerade deshalb ausgewählt wurden, weil die Reihenfolge die Auswahl verändert. Auf einer Reihe reihenfolgestabiler Anfragen von Beauty Bakerie beseitigte die vollständige RPTune-Pipeline aus Kuratierung und Post-Training dennoch rund 80 % der Fehler eines kleinen Gemma-Modells.

RPTunes Antwort ist ein Kurator, der entscheidet, was das Modell liest und in welcher Reihenfolge. Ein Encoder bewertet jedes Produkt gegenüber der Anfrage, und eine kleine Schicht, trainiert auf die Auswahlen von Gemma, einem kompakten Google-Modell, justiert die Scores. Das oberste Viertel kommt in aufsteigender Reihenfolge in den Prompt, die stärksten Kandidaten zuletzt, direkt vor der Anweisung, eine Auswahl zu treffen. Über neun Modelle hinweg steigerte das kuratierte Viertel die Exact-Match-Genauigkeit im Schnitt um 13,5 Punkte und half jedem Modell in jedem Shop. Das System, das gewinnt, ist eine Retrieval-Stufe mit längerer Shortlist und einer Sitzordnung.

Die „bis zu 31,4 Prozentpunkte“ im Abstract stammen aus einer einzigen Paarung: Grok 4.1 Fast ohne Reasoning auf dem Kosmetikkatalog von Beauty Bakerie. Es ist die beste Zelle der Ergebnistabelle, die nur Kuratierung misst. Das Maximum von 20 Punkten im Ergebnisteil ist ein anderes Maß, nämlich der Durchschnitt des besten Modells über alle sieben Shops. Beides beschreibt keinen typischen Shop.

Für einen Shop weist das Paper aus, wie viel der Kuratorenarbeit auf Platzierung entfällt. Für Beauty Bakerie schreibt ein Diagramm im Paper 19,7 Punkte dem „Umsortieren allein“ zu: dasselbe Viertel, gemischt und dann sortiert, gelesen vom nachtrainierten Gemma von RPTune. Das Paper trennt dies nicht von Gewöhnung, und das Modell wurde auf sortierten Listen trainiert, sodass ein Teil der Differenz erlernte Präferenz sein kann. Auch das untrainierte Modell schnitt am besten ab, wenn die stärksten Kandidaten zuletzt standen. In diesem Prompt ist Augenhöhe das Ende der Liste.

Ein generisches Relevanz-Ranking ist ein schwächerer Ersatz für einen Kurator, der auf die Auswahlen des Lesers trainiert wurde. Der Zuschnitt auf dasselbe Viertel mit Jina Reranker 3.5 ließ Gemini 3.7 Flash im Schnitt kaum vor dem vollständigen Katalog liegen, 37,8 % gegenüber 36,8 %, und in fünf der sieben Shops dahinter. In einer Ablation mit einem überwachten Zielkriterium sagen die Autoren, die Gewinne „kommen aus der Optimierung gegen die Auswahlen des nachgelagerten LLM“.

Der Zuschnitt auf ein Viertel belebt ein milderes Shortlist-Problem neu: Die richtige Variante bleibt im Schnitt nur in 77,1 % der kuratierten Listen erhalten. Das Fine-Tuning belohnt das Modell dann dafür, das beste Produkt zu wählen, das in seiner Liste übrig ist, ob der beste Treffer des Shops überlebt hat oder nicht. Es lernt, zu verkaufen, was an der Stange hängt.

RPTunes Planogramm speist sich aus Geminis Relevanz-Scores und Gemmas Leseverhalten, und der Händler steuert nichts bei außer dem Katalog.

Selbst kuratiert bleiben exakte Varianten schwer zu finden. Kuratierung plus Fine-Tuning hob die Exact-Match-Rate des kleinen Gemma-Modells von 10,7 % auf 31,0 %. Die Fehlgriffe waren enge Substitute: Bei einer Beauty-Bakerie-Anfrage wählte das Modell mitunter eine andere matte Lip Whip mit demselben Preis und Gewicht wie die Referenz, unterscheidbar nur durch Farbname und Beschreibung.

Exact Match ist zudem ein strenger Test, und die Referenzantwort ist nicht unumstritten. Vier Nicht-Gemini-Modelle als Juroren akzeptierten sie nur bei 64,9 % der gezogenen Anfragen, und die Autoren warnen, dass die Labels von Gemini 3.1 Pro „Gemini-Familien-Backbones begünstigen könnten“.

Die sieben Shops verkaufen Kosmetik, Frühstücksprodukte, Tiernahrung, Haut- und Haarpflege, Brillen, Zero-Waste-Waren und „custom gears“. Kleidung fehlt, obwohl Store Leads Bekleidung als Shopifys größte Kategorie führt. Der variantenreichste Händler der Studie verkauft Brillen, mit 739 Varianten von 186 Produkten. Ein Hemd in fünf Größen und drei Farben sind für sich allein fünfzehn nahezu identische Varianten. Übergeben kleine Mode-Shops ihre Kataloge solchen Assistenten, mag die Retrieval-Stufe entfallen, aber das Lip-Whip-Problem kommt in jeder Farbvariante wieder.

Der stärkste Einwand lautet, dass die Reihenfolge nur schwache Leser betrifft und bessere Modelle den Kurator überflüssig machen. Damit das stimmt, müsste der Gewinn durch Kuratierung mit besseren Modellen gegen null schrumpfen. Die Tabelle zeigt das nicht: Claude Opus 5 gewann von den eingefrorenen Modellen am wenigsten, bei Beauty Bakerie nur 0,6 Punkte, und gewann dennoch in jedem Shop. Der Kurator verkürzte außerdem die Antwortzeiten aller neun Modelle, im Schnitt um 28 %. Das Paper misst Latenz, nicht Kosten, doch ein Shop hat Grund, den kürzeren Prompt selbst an einen perfekten Leser zu schicken. Wer dieses Viertel auswählt und ordnet, besitzt das Regal.

Den Katalog eines Shopify-Händlers kann jeder lesen: Die Autoren zogen alle sieben von einem öffentlichen Endpunkt, der ihrer Angabe nach weder „Scraping, Zugangsdaten noch Kooperation des Händlers“ braucht. Ihn anzuordnen fällt dem zu, der den Assistenten baut. Werden Kuratoren wie der von RPTune trainiert, auf synthetische Shopper und Modellurteile, ginge der beste Platz in jedem Prompt an das, was diese Modelle für einen Treffer halten. RPTune nutzt keine Verhaltenslogs, sodass die eine Eingabe fehlt, was die Kundschaft des Shops tatsächlich gekauft hat. Der Händler kann sie liefern – oder das Regal dem überlassen, der den Assistenten baut.