Research & Trends

Montrez une photo aux agents de recherche et l'historique de l'acheteur pèse moins

Un nouveau benchmark montre qu'ajouter une photo à une requête d'achat améliore le classement global des agents de recherche, mais les éloigne des notes que l'acheteur a lui-même données, et les trois modèles commerciaux testés n'y remédient pas. L'argument de Walmart en faveur de la recherche par photo dans Sparky repose sur un chiffre de conversion tiré des propos d'un dirigeant en septembre, qui ne peut pas révéler cette différence.

Un robot vendeur en laiton tient une photo de téléphone représentant un peignoir noir en satin face à deux peignoirs en satin pour femme sur un portant, tandis qu'un registre fermé portant la mention SHOPPER HISTORY, qui recense des chemises et des pantalons pour homme, reste ignoré sur le comptoir, sous les yeux d'un nautile en manteau d'officier de marine.

Neritus Vale

Walmart et Amazon veulent que les acheteurs montrent une photo à leurs assistants IA, et un nouveau benchmark constate que, chez les agents de recherche, la photo évince l’historique de l’acheteur. L’article de Walmart pour les fêtes, publié le 30 octobre, invite les utilisateurs de Sparky à « recréer le look grâce à une photo d’inspiration ». Dans PMRecBench, publié le 4 novembre, les requêtes associant photo et texte ont amélioré le classement global des agents, mais affaibli leur « suivi des préférences » : classer les articles d’après ce que le dossier d’un utilisateur dit qu’il aime.

L’étude n’a testé l’assistant d’aucun distributeur, Sparky compris ; ses agents sont des architectures de recherche comme ReAct et RecMind, exécutées sur des modèles ouverts et commerciaux. Ses auteurs sont Xiaoyu Zhang, Bin Wu, Sahan Bulathwela et Emine Yilmaz, de l’University College London, ainsi que Yougang Lyu, de l’Université d’Amsterdam. Ils citent Alexa for Shopping d’Amazon comme exemple d’interface en service pour les requêtes image-texte ; sa page de lancement range « prendre une photo pour utiliser la recherche visuelle » parmi les outils que les acheteurs utilisent déjà, et « l’historique d’achats » parmi ses données de personnalisation.

Le volet vêtements associe de vraies notes d’acheteurs à des requêtes rédigées par un modèle. Ses 198 utilisateurs proviennent d’un jeu de données de recherche constitué d’avis Amazon sur des vêtements ; le volet cinéma s’appuie sur les notes de MovieLens. Gemini 3.1 Pro a rédigé leurs 258 requêtes à partir des attributs récurrents dans ce que chaque utilisateur aime ou n’aime pas, en y joignant des photos d’articles que cet utilisateur avait notés. Claude Opus 4.8 et GPT-5.5 ont jugé la formulation, et les auteurs ont vérifié les cas litigieux. Comme les photos montrent des articles que l’utilisateur avait déjà notés, l’étude n’a pas testé de photos d’inspiration venues d’ailleurs : le scénario de Walmart prolonge son résultat plutôt qu’il ne le reproduit.

Chaque requête cache sa cible, un article que l’utilisateur a ensuite bien noté, parmi deux groupes de concurrents. L’étude ne donne aucune valeur chiffrée à « bien noté » ; un « like » correspond à une note de 4 ou plus, un « dislike » à une note de 2 ou moins. Un groupe réunit des favoris qui contredisent la requête ; l’autre, des articles qui y répondent mais que l’utilisateur a rejetés ou avec lesquels il n’a jamais interagi. Seul l’historique distingue la cible du second groupe : le battre sert donc d’indicateur du suivi des préférences. Pour la plupart des requêtes, ce groupe contient en partie des articles avec lesquels l’utilisateur n’a jamais interagi ; certains concurrents sont donc peut-être des produits que l’acheteur n’a simplement jamais vus.

Les agents s’en sont bien tirés avec le premier groupe et ont trébuché sur le second. Pour les vêtements, quatre agents fondés sur le modèle ouvert Gemma-4-31B ont classé la cible au-dessus des favoris contraires à la requête dans 93 % à 95 % des paires. Lire la requête était la moitié facile. Face à des articles qui correspondaient à la requête mais pas à l’acheteur, ils n’atteignent que 71 % à 76 %.

Ajouter la requête a un coût pour le suivi des préférences. Pour les vêtements, le score a reculé de 4,6 points, en moyenne sur quatre agents Gemma-4-31B, avec un intervalle de confiance à 95 % de −8,8 à −0,5 point, tandis que le classement global progressait. Le sens de la variation est le même pour chaque agent, dans les deux domaines et sur les deux modèles de base ; l’étude teste la baisse comme une moyenne, pas agent par agent. Qwen3.6-35B, présenté en annexe, perd 5,6 points sur les vêtements.

Les agents partaient d’ailleurs d’un niveau modeste. Pour les vêtements, le filtrage collaboratif fondé sur le seul historique de l’étude obtient 0,70 et la simple fusion de scores 0,72 ; les auteurs ne constatent pas que les agents devancent systématiquement la fusion.

Les auteurs attribuent cette perte à la façon dont les agents lisent l’image. Lorsqu’une requête purement textuelle nommait l’attribut au lieu de le montrer, le suivi des préférences ne reculait plus de façon significative. Demander au modèle de base de l’agent de décrire lui-même les photos en texte creusait davantage la baisse sur les films, avec le même schéma sur les vêtements. Les agents, écrivent-ils, « peuvent privilégier la ressemblance avec les images de référence au détriment des éléments de l’historique de l’utilisateur ».

Les auteurs avancent une raison pour laquelle l’historique a moins aidé sur les vêtements : les agents « inspectaient rarement les articles de l’historique vestimentaire ». Leur annexe sur l’usage des outils n’étaye toutefois pas une simple histoire de négligence. Les appels d’outils ont augmenté dans 14 configurations sur 16, et les auteurs écrivent que la baisse du suivi des préférences « n’est pas causée par un usage insuffisant des outils ». Dans un cas détaillé, un agent fondé sur GLM-5.3-Flash a bien relevé que l’historique de l’acheteur était surtout masculin, mais a tout de même placé deux articles pour femme en première et deuxième position, pour un look en satin noir que la requête ne demandait pas, et la cible masculine en troisième.

Les trois modèles commerciaux testés n’y remédient pas. ReAct, un agent généraliste, a été exécuté sur huit modèles de base : trois petits modèles ouverts, Qwen3-VL-8B, Ministral 3 8B et Gemma-4-E4B ; deux modèles ouverts de taille moyenne, Gemma-4-31B et Qwen3.6-35B ; et trois modèles commerciaux, GPT-6 Luna, GLM-5.3-Flash et Claude Haiku 5.5. Pour les vêtements, les modèles commerciaux comprennent les requêtes à peu près aussi bien que Gemma-4-31B, mais tous restent sous ses 0,76 pour le suivi de l’acheteur, avec 0,68 à 0,72. Qwen3.6-35B, à 0,72, se situe en haut de cette fourchette : l’écart est donc propre à Gemma, et non aux modèles ouverts en général. Le résumé de l’étude conclut que « des modèles commerciaux plus puissants ne suffisent pas à eux seuls à résoudre ce déséquilibre » ; ce « plus puissants » désigne ces trois modèles.

Les traces d’échec vont dans le même sens. Claude Opus 5.5 a étiqueté 125 échecs échantillonnés, 25 par modèle, avec des contrôles par GPT-5.6 Sol et par des annotations humaines. Dans 35,2 % d’entre eux, l’agent avait correctement lu la requête, puis choisi un article qui ressemblait davantage à la photo de référence. Aucun ne venait d’un classement fondé sur le seul historique.

Le chiffre de conversion de Walmart mesure autre chose. L’article du 30 octobre ne contient aucun chiffre ; celui-ci provient d’une remarque faite en septembre lors d’une conférence d’investisseurs, que Retail Dive a reprise le 5 novembre : la recherche visuelle a « entraîné » une hausse de 57 % de la conversion par rapport aux recherches textuelles, selon David Guggina, directeur général de Walmart U.S. La transcription de son intervention du 15 septembre à la conférence Goldman Sachs est plus étroite : « nous voyons le taux de conversion bondir de 57 % par rapport à l’achat par texte ». Cela compare deux types de recherche, un peu comme le chiffre du panier Sparky que nous avions examiné en octobre compare deux types d’acheteurs.

La conversion, comme le score de classement global de l’étude, additionne les deux effets : elle peut donc monter pendant que la personnalisation glisse. L’exemple de Guggina lui-même était la photo de la pelouse d’un collègue, à partir de laquelle Sparky, « rien qu’avec ce contexte », a suggéré des graines et de l’engrais (transcription). Une pelouse n’a guère besoin d’historique. Copier un look vu sur une photo d’inspiration, c’est autre chose : seul le dossier dit qui le portera.

L’objection la plus solide est qu’une photo devrait l’emporter sur le passé. Un acheteur qui envoie une photo d’inspiration veut peut-être s’habiller autrement, et un agent accroché à d’anciennes notes lui serait inutile. Pour que la thèse tombe, il faudrait que les requêtes avec photo contredisent si souvent l’historique des acheteurs que le suivre devienne l’erreur.

PMRecBench a été conçu pour qu’aucune contradiction de ce type ne se produise, et les agents ont pourtant dérivé. Les requêtes proviennent des propres schémas de notation de l’utilisateur, « de sorte que la requête n’introduise aucune exigence en conflit avec les préférences de cet utilisateur » (introduction). Sans nouveau goût à suivre, la dérive ne peut pas s’expliquer par un agent qui s’y adapte. Face à des concurrents que l’utilisateur avait rejetés, l’ajout de la photo a ramené le suivi des préférences pour les vêtements à 0,517 sur les deux modèles de taille moyenne, proche d’un tirage à pile ou face. Les auteurs jugent la couverture de ce sous-ensemble limitée : il représente 14,70 % des requêtes.

Une photo peut dire à un agent ce qu’il faut trouver ; seul l’historique peut lui dire pour qui.

Lors de la conférence de résultats d’août, le directeur général John Furner a raconté un plan de repas pour lequel Sparky avait « reconnu les ingrédients qu’ils avaient achetés récemment ». Cela montre que Sparky exploite l’historique d’achats ; cela ne montre pas que les résultats par photo le font. Si Walmart continue d’évaluer la recherche par photo à l’aune de la conversion face au texte, une photo qui vend et une photo qui sert l’acheteur se ressembleront dans ses chiffres. Pour les distinguer, il faut des données que Walmart détient : les résultats par photo favorisent-ils les marques et les tailles que les clients de longue date gardent, plutôt que celles qu’ils renvoient ? Faire cette vérification est un choix, et citer la conversion à la place en est un autre.