Research & Trends

Le test de recherche par photo de Pailitao a fait grimper les transactions de 27 % et le GMV de 9 %, ce qui laisse supposer un panier moyen plus petit

Dans le test Multimodal Search du rapport PailitaoMMSearch2.0 d'Alibaba, les transactions ont progressé de 27,04 % et le GMV de 8,94 %, ce qui implique une transaction moyenne inférieure d'environ 14 %. L'avance hors ligne du modèle porte sur l'association d'articles à un produit photographié, pas sur la recherche du produit lui-même, et l'une des sources possibles des ventes supplémentaires est ce qui l'accompagne.

A smartphone bearing the Taobao logo photographs a shirt on a hanger while sports shorts, a belt, sandals and a cap spill from its screen above a long till receipt of small entries.

Neritus Vale

Dans le test Multimodal Search de Pailitao, la recherche par appareil photo de Taobao a vendu plus souvent et, d’après notre calcul, pour moins cher à chaque vente. C’est l’opération contenue dans un rapport technique que des ingénieurs d’Alibaba ont publié le 27 octobre, même si le résumé ne la fait jamais. Une cause possible tient à la tâche que le nouveau modèle accomplit le mieux : trouver ce qui va avec le produit de la photo, plutôt que le produit lui-même. Les auteurs écrivent eux-mêmes que le test en ligne “mesure le système déployé dans son ensemble et ne peut pas attribuer les gains à des composants individuels”.

Le rapport décrit PailitaoMMSearch2.0, le modèle désormais à l’œuvre derrière Pailitao, la recherche par photo de Taobao. Ses auteurs indiquent tous Taobao & Tmall Group d’Alibaba, Xu Chen étant l’auteur correspondant et le responsable du projet. Un seul modèle vision-langage lit une photo brute et une instruction saisie, puis écrit des codes produit appelés Semantic IDs.

Ce modèle unique traite désormais des requêtes que le pipeline interne d’Alibaba trie à l’aide d’un classificateur d’intention. L’article les regroupe en similaires, retouche et association. Ses premiers exemples viennent de la garde-robe : une chemise photographiée accompagnée de l’instruction « un short de sport assorti », ou des sandales avec « la version femme de cette marque ».

Le résumé présente le test en conditions réelles comme une liste de gains. Il fait état d’« améliorations statistiquement significatives » des pages vues d’articles, des transactions et de la valeur brute des marchandises. Les tests ont attribué au nouveau modèle environ 10 % du trafic pendant environ 14 jours, face aux références de production. Une seule application, « Multimodal Search », voit ses résultats publiés.

Deux de ces gains ont évolué à des vitesses très différentes. Les transactions du groupe test ont augmenté de 27,04 %. C’est le plus important des gains en ligne, devant les pages vues d’articles. La valeur brute des marchandises, c’est-à-dire ce que valaient ces transactions, a progressé de 8,94 %.

Si l’on rapporte le GMV aux transactions, la transaction moyenne implicite du groupe test est inférieure d’environ 14 % à celle du groupe témoin.

Ce chiffre résulte de notre calcul et ne tient que si les deux nombres comptent la même chose. Le rapport d’octobre ne définit pas ses indicateurs. Le rapport de juillet de la même équipe le fait : le GMV « mesure la valeur totale des transactions », et le volume de transactions est « le nombre d’achats finalisés ». Selon ces définitions, le ratio donne la vente moyenne, qu’on compare des totaux de groupe ou des valeurs par utilisateur.

Un juge automatique a produit les scores hors ligne, et le rapport ne fournit qu’une vérification à son sujet. Parmi les résultats que le juge classe Excellent, des étiquettes humaines mises de côté en confirment « de 93,6 % à 93,9 % », selon l’intention (Table 3). Ce chiffre ne couvre que les verdicts positifs du juge. Les chercheurs de Shopify n’avaient donné aucun taux d’accord pour le juge derrière leurs résultats sur les identifiants sémantiques.

Les auteurs reconnaissent que le juge « peut partager des erreurs corrélées avec les évaluateurs utilisés pour le filtrage des données et la modélisation des récompenses » (limites). Ces évaluateurs ont choisi les données d’entraînement du nouveau modèle et noté ses récompenses. Les auteurs répondent que les différents modèles de base utilisés pour chaque rôle « évitent le conflit entre joueur et arbitre ». Des modèles de base différents peuvent pourtant partager des erreurs, ce qui est précisément la concession, et nous en déduisons donc que tout biais favoriserait le nouveau modèle.

Pour la tâche à laquelle Pailitao était destiné, le pipeline interne reste devant sur le taux d’Excellent. Le service avait à l’origine été conçu surtout pour retrouver le même article, selon Jiemian, et les vêtements figurent parmi ses catégories les plus fréquentées. Sur les requêtes d’articles similaires, le pipeline interne a obtenu 54,1 % d’Excellent (Table 4). Le meilleur réglage du tableau de mise à l’échelle du rapport atteint 50,6 %.

D’autres mesures sont plus serrées. Sur les articles similaires, le modèle de 2 milliards de paramètres égale le pipeline interne en GR et le devance en NDCG, 0,907 contre 0,874. La retouche va dans l’autre sens, et l’article le dit.

C’est sur l’association que le nouveau modèle prend ses distances. L’article de juillet de l’équipe cite parmi les tâches où les modèles vision-langage généralistes échouent en recherche d’images « les recommandations d’accessoires ou de tenues ». Sur l’association, le pipeline interne a obtenu 44,2 % (Table 4), son score le plus faible. Le plus petit des nouveaux modèles a obtenu 70,9 %, ce qui en fait le meilleur styliste des deux et le moins bon chercheur.

Le test en ligne a peut-être mesuré un mélange. Là où un pipeline mature de rappel et de classement fonctionne déjà, l’article dit que les produits du nouveau modèle sont « entrelacés avec ceux du pipeline existant à l’étape finale de présentation » (tests en ligne). Il ne dit pas si Multimodal Search est une telle application, ni quelle part de ses requêtes relève de l’association, de la similarité ou de la retouche. Si c’est le cas, l’ancien pipeline peut continuer à fournir les articles similaires pendant que le nouveau modèle ajoute ce qui va avec.

Le rapport de juillet de la même équipe offre la comparaison la plus proche. Son modèle précédent, Pailitao-MMSearch, a été testé sur l’étage « PeiWoGuang », qui « vise à trouver des articles similaires à partir de requêtes sous forme d’images d’utilisateurs » (résultats en ligne). La récupération générative y avait fait progresser les transactions de 3,74 %. Le GMV avait augmenté de 3,67 %, si bien que la vente moyenne a à peine bougé.

Le test de classement génératif du même étage a pris la direction inverse. Le GMV a progressé de 9,94 % contre 4,47 % pour les transactions, ce qui place la vente moyenne environ 5 % plus haut. Le ratio varie selon le type de modèle, et le chiffre d’octobre ne peut donc pas être lu comme une propriété de la recherche générative en général.

La principale objection est que les utilisateurs de Pailitao cherchent des prix plus bas, et qu’un meilleur modèle peut simplement trouver des versions moins chères. Les utilisateurs de la recherche par photo demandent souvent pourquoi des articles d’apparence identique diffèrent autant par le prix, rapportait Jiemian l’an dernier. Depuis août 2025, Taobao a donné à chaque utilisateur de Pailitao un outil d’IA pour trouver le même article moins cher, et le rapport ne date pas son test. Le juge note la pertinence, pas le prix, de sorte qu’un modèle pourrait obtenir un moins bon score et vendre quand même davantage de quasi-équivalents bon marché. Pour que la thèse tombe, les transactions supplémentaires doivent venir de ces versions moins chères, et non de l’association.

Les éléments publiés penchent plutôt pour la tenue que pour la bonne affaire. Le test de récupération de juillet faisait déjà tourner la récupération générative sur des articles similaires, et la vente moyenne y a à peine bougé. Le modèle d’octobre ajoute l’association, où son avance sur le pipeline interne est la plus large de son tableau comparatif. Le rapport ne contient aucune donnée de prix et dit que son test ne peut pas attribuer les gains à des composants, de sorte qu’aucune des deux lectures n’est prouvée ; seule celle de l’association cadre avec ses tableaux hors ligne.

La vérification la plus nette de cet argument manque au rapport. Le modèle fonctionne aussi dans un « Find Matching Tab » et un « Find Similarity Tab » (déploiement), et le rapport ne donne aucun chiffre de test pour l’un ni pour l’autre. Il a pourtant été « entièrement déployé sur 100 % du trafic dans les scénarios de production correspondants » (tests en ligne). Taobao a donc basculé tout son trafic sur le modèle avant de présenter des résultats par type de requête.

Alibaba mérite d’être félicité d’avoir publié les deux chiffres. Le recommandeur de Tencent issu de l’évolution par agents, dont nous avons parlé hier, faisait état de clics et d’aucune mesure d’achat. Un distributeur qui évalue un fournisseur de recherche visuelle devrait demander ensemble les transactions et le GMV, et faire la division que le résumé d’Alibaba a omise.

Pailitao a été conçu pour retrouver la chemise de la photo. Si les tableaux d’Alibaba sont un bon guide, son nouveau modèle gagne peut-être sa progression sur les shorts. Ce pourrait être un bon échange pour Taobao et pour celui qui vend les shorts. Cela resterait un échange : les transactions ont augmenté, et le revenu par vente a baissé.