Research & Trends

Mélangez le catalogue d'une petite boutique et l'IA choisit autre chose

Le papier RPTune de Google constate qu'un modèle à long contexte peut lire tout le catalogue d'une petite boutique, mais que son choix dépend alors de l'ordre de lecture. Un curateur appris, qui garde un quart de la liste et place les meilleurs candidats en dernier, a battu le catalogue complet pour chaque modèle et chaque boutique testés. Si des assistants conçus ainsi atteignent les petites boutiques de mode, l'ordre du prompt jouera le rôle de la mise en rayon, et ce n'est pas le marchand qui le fixe.

A nautilus in a naval coat kneels at the end of a long paper scroll of shop goods, sliding three lipsticks under the glass eye of a brass reading machine, while an empty clothes rail stands in the shop window behind.

Admiral Neritus Vale

Donnez à un modèle de langage le catalogue complet d’une petite boutique de cosmétiques, demandez-lui un rouge à lèvres baie longue tenue, puis mélangez la liste et reposez la question : il peut très bien choisir un autre produit. RPTune, publié cette semaine sur arXiv par des chercheurs de Google dont Chuxuan Hu et Sercan Ö. Arık, constate que les petites boutiques peuvent se passer de l’étape de recherche, mais que le choix du modèle dépend alors de l’ordre dans lequel il lit. Si des assistants conçus ainsi atteignent les petites boutiques, l’ordre de défilement du prompt jouera le rôle de mise en rayon, fixé par celui qui entraîne le curateur chargé de l’agencer.

Sur le benchmark propre à l’article, lire toute la boutique a battu la recherche. Parmi les boutiques Shopify analysées par l’équipe, le catalogue médian pèse 51 000 tokens, assez court pour montrer chaque produit au modèle d’un seul coup. La recherche, elle, ne lui présente qu’une présélection, qui peut omettre le bon produit, l’échec que nous avons examiné le 25 septembre. Avec le catalogue complet, Gemini 3.7 Flash a désigné exactement la bonne variante, en moyenne, au moins neuf points de pourcentage plus souvent que n’importe quel pipeline de recherche testé par l’équipe.

Les modèles lisent un long catalogue de façon inégale, et le benchmark a été construit sur cette faiblesse. L’étude de 2023 Lost in the Middle a montré qu’ils exploitent souvent moins bien le milieu d’un long texte que ses extrémités. Gemini 3.1 Pro a rédigé les requêtes de clients du test, puis y a répondu sur des catalogues mélangés à de multiples reprises. Les auteurs ont conservé les 31,9 % de requêtes candidates pour lesquelles sa réponse favorite l’emportait dans une part modérée des essais, et ont fait de cette favorite la clé de correction, des experts humains départageant les égalités. Les résultats phares reposent donc sur des requêtes synthétiques retenues parce que l’ordre change le choix. Sur un jeu de requêtes insensibles à l’ordre pour Beauty Bakerie, le pipeline RPTune complet, curation plus post-entraînement, a tout de même supprimé environ 80 % des erreurs d’un petit modèle Gemma.

La réponse de RPTune est un curateur qui décide de ce que le modèle lit et dans quel ordre. Un encodeur note chaque produit par rapport à la requête, et une petite couche entraînée sur les choix de Gemma, un modèle compact de Google, ajuste ces notes. Le quart supérieur entre ensuite dans le prompt par ordre croissant, les candidats les plus forts en dernier, au plus près de l’instruction de choisir. Sur neuf modèles, le quart curaté a ajouté en moyenne 13,5 points de correspondance exacte et a aidé chaque modèle dans chaque boutique. Le système gagnant est une étape de recherche dotée d’une présélection plus longue et d’un plan de table.

Le « jusqu’à 31,4 points de pourcentage » du résumé vient d’un seul couple, Grok 4.1 Fast sans raisonnement sur le catalogue de cosmétiques de Beauty Bakerie. C’est la meilleure cellule de curation seule du tableau de résultats. Le maximum de 20 points cité dans la section des résultats est une autre mesure, la moyenne du meilleur modèle sur l’ensemble des sept boutiques. Ni l’un ni l’autre ne décrit une boutique typique.

Sur une boutique, l’article isole la part du travail du curateur qui relève du placement. Pour Beauty Bakerie, un graphique de l’article attribue 19,7 points au « réordonnancement seul » : le même quart, mélangé puis trié, lu par le Gemma post-entraîné de RPTune. L’article ne distingue pas cet effet de l’habitude, et ce modèle a été entraîné sur des listes triées, si bien qu’une partie de l’écart peut relever d’une préférence apprise. Le modèle non ajusté s’en sortait lui aussi mieux avec les candidats les plus forts placés en dernier. Dans ce prompt, le niveau des yeux, c’est le bas de la liste.

Un classement de pertinence générique est un piètre substitut à un curateur entraîné sur les choix du lecteur. Élaguer jusqu’au même quart avec Jina Reranker 3.5 a laissé Gemini 3.7 Flash à peine devant le catalogue complet en moyenne, 37,8 % contre 36,8 %, et derrière dans cinq boutiques sur sept. Dans une ablation où un objectif supervisé était substitué au leur, les auteurs écrivent que les gains « viennent de l’optimisation par rapport aux sélections du LLM en aval ».

Couper à un quart ravive un problème de présélection plus modeste : la bonne variante survit dans 77,1 % des listes curatées en moyenne. Le fine-tuning récompense ensuite le modèle pour le meilleur produit restant dans sa liste, que le meilleur produit de la boutique y ait survécu ou non. Il apprend à vendre ce qui est sur le portant.

Le planogramme de RPTune est dessiné à partir des scores de pertinence de Gemini et des habitudes de lecture de Gemma, et le marchand n’apporte rien d’autre que son catalogue.

Même curatées, les variantes exactes restent difficiles à trouver. La curation associée au fine-tuning a fait passer le taux de correspondance exacte du petit modèle Gemma de 10,7 % à 31,0 %. Les erreurs étaient des substituts proches : sur une requête de Beauty Bakerie, le modèle choisissait parfois un autre matte lip whip, au même prix et au même poids que la référence, qu’on ne distinguait que par le nom de la teinte et la description.

La correspondance exacte est aussi un test strict, et la clé de correction n’est pas incontestable. Quatre modèles non-Gemini faisant office de juges ne l’ont validée que pour 64,9 % des requêtes échantillonnées, et les auteurs préviennent que les étiquettes de Gemini 3.1 Pro « pourraient favoriser les modèles de la famille Gemini ».

Les sept boutiques vendent des cosmétiques, des produits pour le petit-déjeuner, de la nourriture pour animaux, des soins de la peau et des cheveux, de l’optique, des articles zéro déchet et des « custom gears ». Les vêtements sont absents, alors que Store Leads classe l’habillement comme la plus grande catégorie de Shopify. Le marchand le plus riche en variantes de l’étude vend de l’optique, avec 739 variantes de 186 produits. Une chemise en cinq tailles et trois couleurs fait à elle seule quinze variantes quasi identiques. Si de petites boutiques de mode confient leurs catalogues à de tels assistants, l’étape de recherche pourrait disparaître, mais le problème du lip whip arrivera dans chaque coloris.

La principale objection est que l’ordre ne compte que pour les lecteurs faibles, et que de meilleurs modèles rendront le curateur superflu. Pour que cela tienne, il faudrait que le gain de la curation tende vers zéro à mesure que les modèles progressent. Le tableau ne le montre pas : Claude Opus 5 a le moins gagné parmi les modèles figés, seulement 0,6 point sur Beauty Bakerie, et pourtant il a gagné dans chaque boutique. Le curateur a aussi réduit les temps de réponse des neuf modèles, de 28 % en moyenne. L’article mesure la latence, pas le coût, mais une boutique a de bonnes raisons d’envoyer le prompt plus court même à un lecteur parfait. Celui qui choisit et ordonne ce quart possède le rayon.

N’importe qui peut lire le catalogue d’un marchand Shopify : les auteurs ont récupéré les sept à partir d’un point d’accès public qui, notent-ils, ne nécessite ni « scraping, ni identifiants, ni coopération du marchand ». Son agencement revient à celui qui construit l’assistant. Si les curateurs sont entraînés comme celui de RPTune, sur des clients synthétiques et des jugements de modèles, la meilleure place de chaque prompt irait à ce que ces modèles jugent conforme. RPTune n’utilise aucun journal de comportement, si bien que la seule donnée qui lui manque est ce que les clients de la boutique ont réellement acheté. Le marchand peut la fournir, ou laisser le rayon à celui qui construit l’assistant.