Research & Trends

Shopify a déployé la recherche générative. Le gain publié est celui du fil d'accueil.

Le rapport SID-LLM de Shopify affirme que des tests A/B ont justifié l'intégration de son retriever génératif à la recherche, mais le seul gain en ligne chiffré est celui du fil d'accueil de l'application Shop, sans part de trafic ni durée de test. Le modèle ne lit les produits que sous forme de codes à trois jetons, et le rapport ne dit pas si la photo d'un vêtement influe sur son code.

A nautilus in a lab coat inspects a sealed jar marked SEARCH, which holds only a folded slip of paper, beside a half-full jar marked HOME FEED and a green Shopify bag, while a dress with a word-crowded tag hangs behind.

Neritus Vale

Shopify a intégré un modèle de recherche générative à sa recherche de produits sans publier le moindre chiffre en ligne à son sujet. Son rapport technique, mis en ligne le 5 novembre, affirme que des tests A/B ont soutenu le déploiement ; le seul gain en ligne qu’il chiffre provient du fil d’accueil de l’application Shop. Pour l’habillement, le détail manquant compte davantage : le modèle “ne peut ingérer que du texte et des SID”, c’est-à-dire qu’il lit une robe comme un code à trois jetons.

Le modèle, SID-LLM, prend une requête ou l’historique d’un acheteur et écrit des codes produit, qu’un index associe à des produits éligibles. Chaque code, ou identifiant sémantique, se compose de trois jetons quantifiés à partir d’un embedding de produit, à l’aide de codebooks ajustés sur les produits au GMV le plus élevé du catalogue. Son socle, LFM2, vient de Liquid AI, tout comme l’un des coauteurs, Anthony Maltsev.

La recherche de Shopify tourne sur plus d’une surface. L’entreprise “propose la recherche de produits via l’API Catalog, les boutiques des marchands et l’application Shop”, et le rapport décrit l’API Catalog comme « conçue pour le commerce conversationnel et les agents IA ». Une analyse en annexe s’appuie sur les journaux d’août de « sessions de recherche standard et agentiques », mais elle teste la qualité du regroupement des codes, pas les performances du modèle en production. Sur laquelle des trois surfaces ont porté les tests A/B, le rapport ne le dit pas.

Les preuves en ligne pour la recherche se résument à une liste de métriques et à un verdict. Les auteurs ont évalué “plusieurs versions successives” sur les achats, les clics de qualité et les clics, globalement et pour les requêtes de tête, de milieu et de longue traîne. Le verdict : « Les résultats de ces évaluations ont soutenu le déploiement de SID-LLM en production au sein de la pile de recherche de Shopify. » Aucun chiffre ne suit.

Le rapport nomme trois surfaces de recherche, dont l’API Catalog conçue pour les agents, et n’imprime de chiffre A/B pour aucune d’entre elles.

Le résumé se montre plus généreux, en revendiquant pour les deux piles des “gains significatifs, tant en évaluation hors ligne que dans les tests A/B en ligne”. Dans le corps du texte, les seuls chiffres en ligne qui étayent cette affirmation sont ceux du fil d’accueil.

Shopify a déjà annoncé des modèles de recherche, en mettant la vitesse en avant. Le communiqué de partenariat de Liquid AI de novembre 2025 présentait le premier déploiement comme un « modèle de texte pour la recherche » répondant en moins de 20 millisecondes. Le recommandeur développé conjointement y était crédité de « taux de conversion plus élevés grâce aux recommandations ». Digital Commerce 360 rapportait que le modèle de recherche était « désormais en ligne » sur les boutiques des marchands. Le rapport ne précise pas s’il s’agissait d’une première version de SID-LLM.

Hors ligne, les preuves pour la recherche reposent sur un juge. Dans le tableau 17, retirer SID-LLM de la pile de recherche complète fait passer l’OneDCG@10 de 0,3269 à 0,3057. SID-LLM seul obtient un score “proche” de celui de la pile sans lui, selon les termes des auteurs : inférieur globalement, supérieur sur les requêtes personnalisées. L’OneDCG combine la note d’un juge LLM et un score de qualité statique construit à partir des évaluations, de la popularité, de la prévalence des marques et des ventes des boutiques ; le gain hors ligne est donc évalué par un juge. Le rappel d’achat, que les auteurs qualifient de « la plus indépendante des deux métriques », est absent de cette comparaison.

Les chiffres en ligne viennent de la recommandation, où SID-LLM n’est qu’un générateur de candidats parmi d’autres. Dans le fil d’accueil, son ajout a fait progresser les commandes attribuées de 7,95 % sur ce que le rapport appelle “la surface impactée”. Le nombre d’acheteurs convertis et le taux de conversion ont augmenté davantage, et les auteurs jugent tous les gains significatifs après correction de Dunnett.

Le tableau 19 omet ce qui permettrait de mesurer ces chiffres. Il ne donne ni part de trafic, ni durée de test, ni définition de la surface impactée. La correction qu’il cite, celle de Dunnett, a été conçue pour « comparer plusieurs traitements à un témoin » ; le tableau n’imprime qu’un seul traitement.

Le blog d’ingénierie de Shopify, en février, offre un étalon approximatif : un recommandeur né d’une version HSTU a fait progresser les commandes Shop de 0,94 % dans une version d’août du modèle. Cela mesure les commandes Shop pour un autre modèle, alors que le chiffre du fil d’accueil compte des commandes attribuées sur une surface que le rapport ne définit jamais. Un gain aussi supérieur peut signifier un meilleur modèle ou une base plus étroite.

Hors ligne, le tableau 18 étaye la lecture « meilleur modèle » : SID-LLM atteint un Recall@50 de 24,61 contre 17,21 pour HSTU. Le gain en ligne pourrait pourtant reposer sur une base étroite. Sans la base, personne ne peut trancher.

Le rapport RedMall de Xiaohongshu, daté du 26 octobre, injecte des images dans ses codes. Ses codes proviennent d’un embedding de texte et d’un embedding visuel, fusionnés par une porte apprise. Les benchmarks publics sont des notes Amazon pour la beauté, les jouets et l’alimentation, ainsi que les films de MovieLens. Aucun des deux articles ne rapporte de résultat pour l’habillement.

RedMall imprime les éléments qui manquent au tableau 19. Son test de recommandation a confié au nouveau modèle un dixième du trafic face à un témoin équivalent pendant sept jours. Toutes les métriques de son tableau de résultats sont significatives, et le GMV a progressé de 1,08 %. Le chiffre plus élevé de Shopify n’a ni part de trafic ni durée.

Une robe n’arrive à SID-LLM que sous la forme de son code. Le modèle apprend ce que signifient les codes à partir des clics et du texte. Son entraînement associe chaque code à un attribut à la fois, comme le titre, la catégorie, la marque, le prix ou le nom de la boutique. L’embedding qui sous-tend chaque code provient d’« un modèle interne entraîné pour la recherche de produits », et rien dans le rapport n’indique si la photographie l’alimente.

La documentation de Shopify dit elle-même ce qu’apporte une photo. Son catalogue pour agents accepte une image pour un « contexte visuel, comme le style, la forme ou le motif », une liste honnête de ce qui distingue une robe d’une autre. Le rapport ne mentionne jamais cette voie. En novembre 2025, Liquid indiquait que les partenaires « évaluaient des modèles multimodaux » pour les profils clients, les agents et la classification des produits ; les auteurs citent désormais la « compréhension multimodale des produits » parmi les travaux futurs.

La plus forte objection est que la décision de déployer constitue en soi une preuve. Shopify a testé des versions successives sur des requêtes de tête, de milieu et de longue traîne, et des retrievers par mots-clés et par embeddings tournent toujours aux côtés de SID-LLM : le modèle a donc eu plusieurs occasions d’échouer. Pour que la thèse tombe, il faudrait que le gain agrégé se vérifie pour tous les types de fiches.

Les agrégats cachent des perdants. Le rapport découpe les tests de recherche par fréquence des requêtes, non par catégorie ou par boutique ; une hausse nette des achats peut donc coexister avec des pertes pour les nouveaux vêtements de petites boutiques. Lorsque des produits partagent un code, SID-LLM ne transmet que celui dont le score de qualité statique est le plus élevé. D’après le tableau 31 du rapport, 77,2 % des produits partagent un code ; 22,8 % sont seuls. Seuls les plus gros regroupements examinés par les auteurs étaient des fiches identiques ou quasi identiques. En octobre, nous avons retracé la part de la popularité dans l’avantage génératif d’un autre article de Shopify ; ici, elle sert à départager les ex æquo.

Le remède est un découpage que Shopify pratique déjà. L’entreprise a mesuré ses tests de recherche séparément pour les requêtes de tête, de milieu et de longue traîne. Publiés, et découpés aussi par catégorie, ces résultats montreraient aux marchands d’habillement ce que vaut la lecture de leurs fiches par le modèle. D’ici là, le modèle lit leurs fiches, et personne en dehors de Shopify n’a vu ce que cela fait à leurs ventes.

Articles liés