Research & Trends

Les deux plus constants de huit assistants d'achat IA ont le plus favorisé le premier emplacement

Dans un test de l'université de Grenade, huit modèles open-weight jouant les assistants d'achat ont tous changé leur choix lorsque la même présélection était mélangée ; le duo GPT-OSS d'OpenAI, les deux plus constants et les moins enclins à dériver vers un produit moins pertinent, a donné au premier emplacement le plus grand nombre de choix. Sur une liste courte, l'emplacement a surtout départagé des produits que le modèle jugeait équivalents : un facteur de classement qu'un contrôle de pertinence ne détecte pas et que le compte rendu d'OpenAI sur la manière dont ChatGPT choisit les produits ne mentionne pas.

A brass automaton shop assistant reaches for the first of five near-identical black coats on a numbered rail, while a nautilus in a naval coat shuffles a fan of number tags at the far end.

Neritus Vale

Dans un test de l’université de Grenade portant sur huit assistants d’achat IA, les deux qui changeaient le moins leur choix lorsqu’on mélangeait la présélection sont ceux qui ont donné le plus de choix au premier emplacement. Les modèles open-weight GPT-OSS d’OpenAI se laissaient rarement pousser par l’ordre vers un produit nettement moins bon. Ils s’en servaient pour trancher entre des produits qu’ils jugeaient équivalents : un biais de position qui passe le contrôle de pertinence et désigne pourtant le gagnant.

L’étude, publiée le 27 octobre par Carlos Peláez-González, Francisco Herrera et Andrés Herrera-Poyatos, a reconstitué une architecture courante pour les systèmes de recommandation IA. Un modèle d’embedding allait chercher les cinq produits dont le titre correspondait le mieux à une demande, puis un modèle de langage, à qui l’on disait « You are a shop assistant », en recommandait un. Chaque demande était soumise à chaque modèle, avec sa présélection dans 20 ordres aléatoires.

Les huit modèles étaient Llama 3.1 8B et 70B et Llama 4 Scout de Meta, GPT-OSS 20B et 120B d’OpenAI, et DeepSeek R1 distillé en modèles de 7B, 8B et 32B. Tous sont open-weight ; aucun modèle commercial fermé n’a été testé. Les 2 000 demandes ont été rédigées à partir de gabarits, du type « Show me reputable brand fitness trackers ».

Les produits étaient réels. Les auteurs en ont échantillonné 50 000 dans le catalogue de l’Amazon ML Challenge 2023, un hackathon sur la prédiction de la longueur des produits, qui couvre selon eux l’électronique, l’habillement, l’alimentation et les soins personnels. La mode figurait parmi 18 catégories de demandes, et le générateur de requêtes de l’équipe cite parmi ses produits les robes d’été, les jeans et les vestes d’hiver. L’article ne détaille aucun résultat par catégorie : aucune de ses conclusions n’est donc propre à l’habillement.

Chaque modèle a échoué aux deux tests statistiques d’indépendance positionnelle de l’article, et l’ordre seul déplaçait souvent les choix. GPT-OSS 120B s’écartait de son choix le plus fréquent pour une demande dans 15,5 % des mélanges, le taux le plus bas de l’étude. Rien d’autre n’avait changé dans la présélection. DeepSeek R1 7B s’en écartait dans 34,0 % des cas.

L’emplacement favorisé dépendait du modèle. Avec un ordre aléatoire, un modèle insensible à la position donnerait à chaque emplacement un cinquième de ses choix ; GPT-OSS 20B en donnait 25,4 % au premier. Llama 3.1 70B, à 23,0 %, penchait lui aussi vers le premier emplacement : l’habitude n’est donc pas propre à OpenAI, même si le duo GPT-OSS arrivait en tête. Llama 4 Scout évitait le premier emplacement, et sur des listes plus longues sa préférence pour les derniers « augmente nettement ».

Les auteurs distinguent le biais faible, où l’emplacement départage des produits d’une pertinence comparable, du biais fort, où il pousse le choix vers un produit nettement moins pertinent. Ils construisent cet ensemble de pertinence à partir des fréquences de choix propres à chaque modèle : « moins pertinent » signifie donc en dehors de ce que ce modèle choisit habituellement. Le biais faible, écrivent-ils, « ne dégrade pas la pertinence de la recommandation, mais fait quand même dépendre l’exposition d’éléments d’une pertinence comparable de la construction du prompt plutôt que de leur contenu ».

Sur la présélection standard, le biais fort était faible et proche du seuil de bruit. Son taux le plus élevé dans l’exécution principale était de 9,8 % des choix, pour DeepSeek R1 7B, et les auteurs lisent chacun de ces chiffres comme une borne supérieure. Une nouvelle exécution avec un ordre fixe, où seul l’aléa d’échantillonnage jouait, a produit des taux comparables.

L’ajout de mélanges a augmenté le biais fort de 0,3 à 1,1 point pour six modèles. Pour le duo GPT-OSS, la comparaison avec l’ordre fixe n’a révélé aucune différence significative, mais les auteurs précisent qu’elle empêche une comparaison tout à fait propre, car l’ordre fixe place l’élément de tête du moteur de recherche à l’emplacement 1, que ces modèles favorisent. Un second contrôle, avec des étiquettes d’éléments aléatoires, a montré que le mélange augmentait le biais fort de 0,5 à 1,3 point pour les huit modèles.

Les auteurs qualifient la préférence du duo GPT-OSS pour les premiers emplacements de critère de départage qui « agit comme un critère de départage entre des candidats d’une pertinence comparable ». Si les modèles qui animent les assistants commerciaux se comportent comme ces deux-là, leur biais de position se cachera dans le choix entre de bonnes réponses.

Aucun contrôle de pertinence ne peut déceler un départage, puisque tout départage renvoie un produit pertinent.

Le communiqué de Coveo sur le rachat d’Anglera, que nous avons examiné plus tôt aujourd’hui, soutient que les assistants récompensent des données produit plus riches et en offre un test comme preuve. Le test de Grenade a figé chaque titre et chaque description, et le choix a quand même bougé. Le contenu décide quels produits sont en lice ; parmi eux, l’emplacement peut désigner le gagnant.

Des présélections plus longues ont rendu tous les modèles moins stables et, selon la mesure des auteurs, ont poussé davantage de choix hors de l’ensemble des produits d’une pertinence comparable. Avec 20 candidats, le taux de biais fort de Llama 4 Scout a atteint 36,6 %, le plus élevé de l’article. Le seuil de bruit n’a été mesuré que sur la liste courte : on ignore donc quelle part revient à la position. Augmenter la température d’échantillonnage, testée sur la liste courte, n’a presque rien changé.

Un prompt non mélangé offre le premier emplacement au rang de recherche. Ce pipeline classe les produits selon la proximité de chaque titre avec la demande : le titre le plus proche est donc à la fois premier de la liste et premier du prompt. Un modèle doté de l’habitude de GPT-OSS pour le premier emplacement lui attribuerait les égalités, et il gagnerait deux fois : d’abord pour entrer dans la liste, puis pour la mener. Le vendeur ne choisit ni le modèle ni son habitude.

La principale objection est que rien de tout cela ne concerne forcément un assistant réel. Les huit modèles sont open-weight, et les assistants qu’utilisent les consommateurs peuvent reposer sur autre chose. Le remède des auteurs, mélanger les candidats avant chaque réponse, « évite que des éléments soient systématiquement favorisés par leur rang de recherche, sans coût supplémentaire ». Pour que la thèse tombe, il faudrait que ces assistants utilisent des modèles sans préférence d’emplacement, ou des listes mélangées à chaque fois.

Aucune de ces conditions n’est vérifiable de l’extérieur, et la première paraît déjà douteuse. Dans un audit que nous avons présenté le 20 octobre, les sept modèles du groupe de contrôle, dont GPT-4o et Claude Sonnet 4.6, ont favorisé la première de deux fiches produit identiques lorsque les prix concordaient. Des fiches identiques forment une égalité parfaite, et l’emplacement l’a tranchée.

Mélanger ou non une liste est un choix de conception, et OpenAI ne dit pas comment ChatGPT le fait. Sa page d’aide indique que les résultats de produits « ne sont pas des publicités » et énumère ce que le modèle prend en compte, entre autres le prix et les descriptions, la requête et le contexte, les avis, et les réponses du modèle générées avant qu’il n’examine de nouveaux résultats de recherche. Elle ne dit rien de l’ordre dans lequel les candidats arrivent.

L’audit est peu coûteux, et seul le concepteur d’un assistant peut le mener. Dans la simulation des auteurs, moins de 200 demandes, chacune mélangée 20 fois, suffisaient généralement à repérer un biais aussi faible que le plus faible qu’ils ont mesuré, même si les biais réels peuvent en exiger davantage. Une marque ne peut pas réordonner le prompt de ChatGPT ; un distributeur qui exploite son propre assistant le peut. Celui qui remplit le prompt décide si l’habitude ou un mélange tranche les égalités, et c’est une décision de classement, que quelqu’un l’écrive ou non.