Les agents d'achat ont mal décrit leur choix dans 51,4 % des exécutions. Ces exécutions formaient le jeu de test du détecteur.
Un article de la Florida State University affirme que des agents d'achat ont attribué au produit choisi des caractéristiques sans fondement dans 51,4 % des exécutions, et que son correctif a ramené ce taux à 6,2 %. Ce chiffre vient du jeu de test réservé au détecteur d'erreurs des auteurs, non d'un échantillon de trafic d'agents. Ce qui tient : les exécutions qui réussissent la tâche portent quand même l'erreur, et sur ce jeu de test, la plupart des correctifs gagnent en précision en supprimant des affirmations, tandis qu'une simple base de référence par copie a égalé la méthode phare.

Neritus Vale
Un agent d’achat peut choisir un produit et lui prêter des caractéristiques qu’il n’a pas. Un article publié sur arXiv le 12 octobre affirme que c’est arrivé dans 51,4 % des exécutions d’achat, et que le correctif des auteurs a ramené ce taux à 6,2 %. Ce chiffre phare décrit le jeu de test du détecteur d’erreurs de l’article, pas un échantillon de trafic réel d’agents. Ce qui subsiste est plus modeste : les agents qui réussissent leurs tâches commettent quand même l’erreur, et sur ce jeu de test, la plupart des correctifs gagnent en précision en disant moins.
La première figure de l’article montre la défaillance en miniature. Invité à trouver un casque à réduction de bruit à moins de 300 $ avec une bonne note, l’agent recommande le produit A, puis lui attribue la note de 4,8 d’un concurrent et l’autonomie de 30 heures d’un troisième modèle. Les auteurs, de la Florida State University, appellent cela Phantom Merge et en distinguent trois formes : une valeur empruntée à un autre produit, l’exigence du client reformulée comme une caractéristique du produit, et une affirmation qui contredit la fiche du produit choisi.
Le chiffre du résumé correspond au taux d’erreur de départ du jeu de test réservé au détecteur, qui étiquette 156 affirmations comme erronées et 118 comme correctes. L’article ne dit jamais en toutes lettres que les 51,4 % concernent ce jeu, mais la taille de celui-ci permet de retrouver tous les taux des tableaux d’atténuation, qui portent sur les mêmes affirmations.
Le tableau de prévalence n’affiche jamais ce nombre. Ses lignes Shopping vont de 26,8 % à 46,8 % sur une cohorte que le texte qualifie d’« enrichie en PM ». Une annexe précise que ces exécutions ont été « sélectionnées pour mettre l’accent sur les scénarios multi-entités » et que les estimations « décrivent la cohorte construite ». Le guide des artefacts du dépôt classe le Tableau 1, à quatre modèles, comme « export en attente / manquant ».
Là où les auteurs ont échantillonné la distribution des tâches de chaque domaine, soit trois domaines de service client du τ³-Bench de Sierra et quatre modèles, le taux va de 0,4 % pour Gemma sur Retail à 54,1 % pour Qwen sur Telecom. Retail est un service d’assistance simulé pour une boutique en ligne, qui traite des annulations, des retours, des échanges et des changements d’adresse, sans recommander de produits. Ses résultats disent peu de chose d’un agent qui choisit entre trois manteaux.
Dans la cohorte Shopping enrichie, l’erreur la plus fréquente consiste pour l’agent à répéter les souhaits du client comme s’il s’agissait de faits. Les exigences reformulées représentent 63,3 à 96,4 % des affirmations fautives selon le modèle ; ces parts décrivent donc la composition des erreurs, pas leur fréquence. La version vêtement se visualise aisément : à qui demande un pull en laine lavable en machine, un agent face à une fiche muette sur l’entretien peut déclarer le pull lavable en machine. La cliente ou le client lit alors une caractéristique que aucune fiche ne contient.
Quel que soit le taux réel, les agents qui réussissent leurs tâches commettent quand même l’erreur. Dans la cohorte Shopping enrichie, 29,6 à 55,6 % des exécutions réussies comportaient une affirmation mal attribuée, et pour chaque modèle cette part dépassait le taux global de la cohorte. Dans les autres domaines, la même part va de 0,0 % à 32,0 %, le haut de la fourchette correspondant aux exécutions réussies de Mixtral sur Airline. Un score d’achèvement compte chacune de ces exécutions comme réussie.
La plupart des correctifs testés dans l’article gagnent en précision en disant moins. Dans les résultats complets sur Shopping, l’adaptation par les auteurs de RARR, une méthode publiée pour réviser les textes non étayés, renvoie des réponses contenant 4,1 % des affirmations des originales, avec 0,0 % d’erreur résiduelle. Pour un acheteur, c’est à peine une réponse. Les auteurs notent eux-mêmes que les intervalles de confiance à zéro événement « n’établissent pas un risque nul dans la population ».
Sur cette mesure, la réponse la plus courte l’emporte.
La méthode propre à l’article paie une version atténuée du même prix. Dans un test où seul le détecteur change, les deux meilleurs détecteurs laissent 95 à 96 % des réponses exemptes de l’erreur, mais ne conservent que 62 à 63 % des affirmations qui étaient correctes au départ.
Le correctif des auteurs supprime tout de même moins que ses rivaux. À 5,3 % d’erreur résiduelle comparable, il conserve 59,3 % des affirmations produites, contre 35,8 % pour son alternative FAD et 37,0 % pour RARR.
La base de référence la plus simple de l’article égale le chiffre phare. Les auteurs ont écrit eux-mêmes cette méthode de copie contrainte ; elle remplace une valeur signalée par celle enregistrée pour le produit choisi. Dans le cadre propre au résumé, elle termine à 5,8 %, au niveau de la méthode de l’article compte tenu des intervalles de confiance, et ses réponses contiennent plus d’affirmations que les originales, un ratio que le guide des artefacts qualifie de « toujours en cours d’audit ». Quand toutes les méthodes reçoivent les mêmes affirmations signalées, la base de référence par copie décroche, à 10,7 %, car elle ne peut réparer une affirmation que si la fiche produit contient une valeur à copier.
Le meilleur argument en faveur du chiffre phare est que l’achat réel ressemble à la cohorte enrichie. Les agents se rendent utiles en comparant plusieurs produits, et c’est dans la comparaison que naissent les faits empruntés. Si le trafic réel ressemble à une cohorte choisie pour ses scénarios multiproduits, près de la moitié des réponses d’achat porteraient une erreur, et le chiffre phare en serait un résumé fidèle.
Rien dans l’article ne teste si l’achat réel ressemble à cela. Le chiffre phare vient du jeu de test d’un détecteur, le tableau de prévalence d’une cohorte choisie pour les comparaisons, et les exécutions non sélectionnées de tâches simulées de service client étiquetées par un modèle d’OpenAI, avec un audit humain de 50 trajectoires par cohorte modèle-domaine. Aucune de ces sources n’échantillonne ce que les acheteurs demandent à un agent en production, si bien que le taux sur lequel un distributeur devrait compter reste inconnu. Le constat sur les exécutions réussies ne dépend pas de ce taux.
Le détecteur exige aussi ce que beaucoup de distributeurs n’auront jamais : les entrailles du modèle. Le détecteur de l’article lit l’état caché de l’agent juste avant qu’il n’écrive chaque affirmation, de sorte que seul celui qui fait tourner le modèle peut l’utiliser.
Le levier dont un distributeur dispose, c’est la fiche produit. Le correctif de l’article révise une affirmation signalée à l’aide des propres éléments de preuve du produit choisi, ou la supprime lorsqu’aucun remplacement étayé n’existe. Quand la fiche omet un attribut sur lequel l’acheteur s’interroge, le correctif n’a aucune preuve avec laquelle réviser et ne peut que retirer l’affirmation, alors que l’agent non corrigé risque d’en inventer une. Si les distributeurs jugent les agents sur le seul achèvement, rien dans leurs chiffres ne signalera une telle affirmation ; le retour d’un client, peut-être. Reste à choisir si la question d’un acheteur sur l’entretien rencontre un silence, une supposition ou une ligne sur la fiche.