Shopify hat generative Suche ausgerollt. Der veröffentlichte Zuwachs gehört dem Home-Feed.
Laut dem SID-LLM-Bericht von Shopify haben A/B-Tests den Einsatz des generativen Retrievers in der Suche gestützt. Der einzige veröffentlichte Online-Zuwachs stammt jedoch aus dem Home-Feed der Shop-App, ohne Traffic-Anteil und ohne Testdauer. Das Modell liest Produkte nur als dreiteilige Token-Codes, und der Bericht verrät nicht, ob das Foto eines Kleidungsstücks seinen Code beeinflusst.

Neritus Vale
Shopify hat ein generatives Retrieval-Modell in seine Produktsuche eingebaut und dazu keine Online-Kennzahl veröffentlicht. Der technische Bericht vom 5. November sagt, A/B-Tests hätten den Einsatz gestützt; der einzige Online-Zuwachs, den er beziffert, stammt aus dem Home-Feed der Shop-App. Für Mode wiegt eine andere Lücke schwerer: Das Modell „kann nur Text und SIDs verarbeiten”, es liest ein Kleid also als dreiteiligen Code.
SID-LLM, so der Name des Modells, nimmt eine Suchanfrage oder die Historie eines Käufers und schreibt Produktcodes, die ein Index auf infrage kommende Produkte abbildet. Jeder Code, eine semantische ID, besteht aus drei Token, die aus einem Produkt-Embedding quantisiert werden; die Codebücher wurden auf den umsatzstärksten Produkten des Katalogs (nach GMV) trainiert. Das Grundgerüst, LFM2, stammt von Liquid AI, ebenso ein Koautor, Anthony Maltsev.
Shopifys Suche läuft auf mehr als einer Oberfläche. Das Unternehmen „bedient die Produktsuche über die Catalog API, Händler-Storefronts und die Shop-App”, und der Bericht beschreibt die Catalog API als „für Conversational Commerce und KI-Agenten konzipiert”. Eine Analyse im Anhang nutzt Augustlogs von „Standard- und Agenten-Suchsitzungen”, prüft damit aber, wie gut sich die Codes clustern, nicht, wie das Modell im Einsatz abschneidet. Welche der drei Oberflächen die A/B-Tests abdeckten, lässt der Bericht offen.
Die Online-Belege für die Suche bestehen aus einer Liste von Kennzahlen und einem Urteil. Die Autoren bewerteten „mehrere aufeinanderfolgende Versionen” anhand von Käufen, hochwertigen Klicks und Klicks, insgesamt sowie für Head-, Torso- und Tail-Anfragen. Das Urteil: „Die Ergebnisse dieser Auswertungen sprachen dafür, SID-LLM als Teil von Shopifys Such-Stack produktiv einzusetzen.” Eine Zahl folgt nicht.
Der Bericht nennt drei Suchoberflächen, darunter die für Agenten gebaute Catalog API, und beziffert für keine einen A/B-Effekt.
Das Abstract klingt großzügiger und behauptet für beide Stacks „deutliche Zuwächse sowohl in Offline-Evaluierungen als auch in Online-A/B-Tests”. Im Hauptteil stammen die einzigen Online-Zahlen hinter dieser Aussage aus dem Home-Feed.
Shopify hat Suchmodelle schon früher angekündigt und dabei die Geschwindigkeit in den Vordergrund gestellt. Die Partnerschaftsmeldung von Liquid AI vom November 2025 nannte den ersten Einsatz ein „Textmodell für die Suche”, das in unter 20 Millisekunden antwortet. Dem gemeinsam entwickelten Empfehlungssystem wurden „höhere Conversion-Raten durch Empfehlungen” zugeschrieben. Digital Commerce 360 berichtete, das Suchmodell sei auf Händler-Storefronts „jetzt live”. Ob es sich dabei um ein frühes SID-LLM handelte, sagt der Bericht nicht.
Offline stützt sich die Suche auf einen Juror. In Tabelle 17 sinkt OneDCG@10 von 0,3269 auf 0,3057, wenn man SID-LLM aus dem vollständigen Such-Stack entfernt. SID-LLM allein erreicht nach Angaben der Autoren „fast” das Niveau des Stacks ohne das Modell: insgesamt darunter, bei personalisierten Anfragen darüber. OneDCG mischt die Note eines LLM-Jurors mit einem statischen Qualitätswert aus Bewertungen, Popularität, Markenverbreitung und Shop-Umsätzen; der Offline-Gewinn ist also vom Juror bewertet. Der Purchase Recall, den die Autoren als „die unabhängigere der beiden Kennzahlen” bezeichnen, fehlt in diesem Vergleich.
Die Online-Zahlen stammen aus dem Empfehlungsgeschäft, wo SID-LLM nur einer von mehreren Kandidatengeneratoren ist. Im Home-Feed stieg die Zahl der zugeordneten Bestellungen mit dem Modell um 7,95 % auf dem, was der Bericht „die betroffene Oberfläche” nennt. Die Zahl der Käufer und die Conversion-Rate legten stärker zu, und die Autoren bezeichnen jeden Zuwachs nach Dunnett-Korrektur als signifikant.
Tabelle 19 lässt aus, was diese Werte einordnen würde. Sie nennt keinen Traffic-Anteil, keine Testdauer und keine Definition der betroffenen Oberfläche. Die dort angeführte Dunnett-Korrektur wurde für den „Vergleich mehrerer Behandlungen mit einer Kontrolle” entwickelt; die Tabelle weist eine Behandlung aus.
Einen groben Maßstab liefert Shopifys Engineering-Blog vom Februar: Ein Empfehlungssystem, das als HSTU-Entwicklung begann, steigerte in einer Modellversion vom August die Shop-Bestellungen um 0,94 %. Das misst Shop-Bestellungen für ein anderes Modell, während die Home-Feed-Zahl zugeordnete Bestellungen auf einer Oberfläche zählt, die der Bericht nie definiert. Ein so viel größerer Zuwachs kann ein besseres Modell bedeuten oder eine schmalere Basis.
Offline stützt Tabelle 18 die These vom besseren Modell: SID-LLM erreicht einen Recall@50 von 24,61 gegenüber 17,21 bei HSTU. Der Online-Zuwachs könnte dennoch auf einer schmalen Basis beruhen. Ohne die Basis kann das kein Leser beurteilen.
Der RedMall-Bericht von Xiaohongshu vom 26. Oktober speist Bilder in seine Codes ein. Die Codes entstehen aus einem Text-Embedding und einem visuellen Embedding, die ein gelerntes Gate verschmilzt. Die öffentlichen Benchmarks sind Amazon-Bewertungen für Beauty, Spielzeug und Lebensmittel sowie MovieLens-Filme. Für Kleidung weist keines der beiden Papiere ein Ergebnis aus.
RedMall nennt genau die Angaben, die in Tabelle 19 fehlen. Beim Empfehlungstest bekam das neue Modell ein Zehntel des Traffics gegen eine gleich große Kontrollgruppe, sieben Tage lang. Jede Kennzahl der Ergebnistabelle ist signifikant, und der GMV stieg um 1,08 %. Shopifys größere Zahl hat weder einen Traffic-Anteil noch eine Laufzeit.
Ein Kleid erreicht SID-LLM nur als Code. Was die Codes bedeuten, lernt das Modell aus Klicks und aus Text. Sein Training koppelt jeden Code mit jeweils einem Attribut, etwa Titel, Kategorie, Marke, Preis oder Shop-Name. Das Embedding hinter jedem Code stammt aus „einem hauseigenen, für die Produktsuche trainierten Modell”, und nichts im Bericht sagt, ob das Foto in dieses Modell einfließt.
Shopifys eigene Dokumentation sagt, was ein Foto beiträgt. Der Agent-Katalog nimmt ein Bild für „visuellen Kontext, etwa Stil, Form oder Muster” entgegen, eine treffende Liste dessen, was ein Kleid vom anderen unterscheidet. Der Bericht erwähnt diesen Weg nie. Im November 2025 sagte Liquid, die Partner „evaluieren multimodale Modelle” für Kundenprofile, Agenten und Produktklassifizierung; nun führen die Autoren „multimodales Produktverständnis” als künftige Arbeit auf.
Der stärkste Einwand lautet, dass die Entscheidung für den Einsatz selbst ein Beleg ist. Shopify testete aufeinanderfolgende Versionen über Head-, Torso- und Tail-Anfragen hinweg, und Keyword- und Embedding-Retriever laufen weiter neben SID-LLM; das Modell hatte also mehrere Gelegenheiten zu scheitern. Damit die These fällt, müsste der Gesamtgewinn für jede Art von Angebot gelten.
Aggregate verbergen Verlierer. Der Bericht gliedert die Suchtests nach Anfragehäufigkeit, nicht nach Kategorie oder Shop; ein Nettoplus bei den Käufen kann also mit Verlusten für neue Kleidungsstücke kleiner Shops einhergehen. Teilen sich Produkte einen Code, reicht SID-LLM nur dasjenige mit dem höchsten statischen Qualitätswert weiter. Laut Tabelle 31 des Berichts teilen sich 77,2 % der Produkte einen Code; 22,8 % stehen allein. Nur die größten Cluster, die die Autoren prüften, bestanden aus identischen oder nahezu identischen Angeboten. Im Oktober haben wir nachverfolgt, welchen Anteil die Popularität am generativen Vorsprung eines anderen Shopify-Papers hat; hier entscheidet sie bei Gleichstand.
Die Abhilfe ist ein Schnitt, den Shopify bereits vornimmt. Das Unternehmen hat seine Suchtests getrennt für Head-, Torso- und Tail-Anfragen ausgewertet. Würden diese Ergebnisse veröffentlicht und zusätzlich nach Kategorie aufgeschlüsselt, zeigten sie Modehändlern, was die Lesart ihrer Angebote durch das Modell wert ist. Bis dahin liest das Modell ihre Angebote, und niemand außerhalb von Shopify hat gesehen, was das mit ihren Umsätzen macht.