Un contrôle de test lisait 800 caractères de chaque message. Le statut de la commande se trouvait au caractère 950.
Dans une étude arXiv à auteur unique portant sur 2 160 épisodes simulés de service client, le juge gpt-4.1-mini de l'article a laissé passer au moins dix des 11 écritures interdites que des annotateurs humains ont confirmées dans un échantillon de 120 épisodes, alors qu'une règle sans aucun appel à un modèle, lisant le corrigé du benchmark, les a toutes signalées. Le propre filtre de sécurité de l'étude, alimenté par un résumé tronqué, a refusé des demandes légitimes dans les deux épisodes retracés par l'auteur, et le juge a validé les deux.

Neritus Vale
Qu’un agent de service client pour le commerce fonctionne ou non dépend de qui l’évalue. Dans une étude de simulation à auteur unique publiée sur arXiv, le juge gpt-4.1-mini de l’article a laissé passer au moins dix des 11 écritures interdites relevées dans un échantillon de 120 épisodes annotés par des humains. Une règle sans aucun appel à un modèle les a toutes signalées. Le filtre de sécurité de l’étude, fondé sur un modèle et conçu par l’auteur, a refusé une modification de commande légitime en répétant que son statut « en attente » « n’est pas confirmé par la conversation ». Le dossier de commande, lui, le confirmait, mais au-delà de l’endroit où le filtre coupait chaque message.
L’auteur, Sungbin Im, a fait tourner 2 160 épisodes simulés sur tau2-bench, le benchmark de service client de Sierra, en journalisant chaque écriture dans la base de données. Son guichet boutique gère les annulations, les modifications de commande, les retours et les échanges selon une politique écrite ; un second guichet traite les réservations de compagnies aériennes. Les agents tournaient sur gpt-4.1 et gpt-4.1-mini, avec des filtres de sécurité ajoutés couche par couche. Ces filtres et le vérificateur qui les sous-tend étaient ceux de l’auteur, conçus pour l’étude : ce qui suit décrit donc cette conception, et non le produit d’un éditeur.
Les évaluateurs fondés sur la base de données et ceux fondés sur la transcription étaient souvent en désaccord, ce dernier penchant vers la validation. Les benchmarks comparent la base de données finale à un corrigé, et le calcul du taux de réussite laisse passer des erreurs dans les exécutions qu’il valide. Les services déployés n’ont généralement pas de tel corrigé et font lire la transcription par un modèle. Le juge de l’article, gpt-4.1-mini, a répété son propre verdict sur 98,2 % des épisodes. La constance n’est pas l’exactitude : le juge était d’accord avec le corrigé dans 56,2 % des cas.
Les écritures interdites, comme une annulation de vol que les règles ne permettaient pas, constituaient l’échec que le juge percevait le moins. Des annotateurs humains, qui ne connaissaient pas le corrigé, ont confirmé 11 écritures de ce type dans cet échantillon. Chacune avait déjà modifié la base de données. Le juge gpt-4.1-mini en a laissé passer dix ou 11 dans les quatre configurations, avec ou sans le document de politique ou la transcription complète ; gpt-4.1 en a laissé passer neuf ou dix.
L’article ne mentionne aucun étalonnage d’un juge sur des étiquettes humaines, pourtant le remède habituel contre un juge trop indulgent. Les ingénieurs de Shopify décrivent l’étalonnage des juges de Sidekick sur des étiquettes fournies par des experts produit. Le juge le plus performant de l’article, gpt-5.6 Sol, a laissé passer six des écritures interdites sans le document de politique. Avec celui-ci, le juge est devenu « plus strict, pas plus discriminant » : il n’a laissé passer aucune écriture interdite et a rejeté 40 des 55 épisodes entièrement corrects. Un étalonnage ne vaut donc peut-être que pour la configuration sur laquelle il a été réalisé.
Signaler les écritures interdites n’a demandé aucun appel à un modèle. La règle se contente de demander si la tâche appelait une écriture et si une écriture a eu lieu. Aucune configuration de juge n’a obtenu un score significativement supérieur au sien sur l’exactitude de la tâche ou des engagements, même si l’article ajoute que les intervalles ne démontrent pas l’équivalence des deux méthodes. Un seul fait oui/non de chaque côté laisse beaucoup échapper : la règle a repéré 24 des 53 erreurs d’engagement trouvées par les annotateurs, et 25 de ses 29 oublis étaient des écritures erronées par leur contenu ou leur moment.
Dans le commerce, il y avait peu de choses à empêcher pour un filtre. Les écritures interdites sont survenues dans 0,8 % des épisodes de commerce non filtrés, et le jeu de test contient comparativement peu de tâches exigeant un refus. Les tâches aériennes, elles, sont conçues pour inviter à de telles violations. Le taux y était de 19,3 %.
Activés en totalité, les filtres ont plutôt tendu à dégrader le guichet commerce. Avec gpt-4.1, la configuration la plus stricte a transformé 17 réussites notées par la règle en échecs et en a sauvé bien moins. Aucun effet de filtre dans l’étude n’était plus marqué. Après correction pour tests multiples, sa valeur p était de 0,240 : une piste, pas un résultat.
La cause avancée par l’article tient à l’entrée du filtre. Il ne voyait qu’un résumé des 20 derniers messages, alors que l’agent travaillait à partir de la conversation complète. Chaque message du résumé était tronqué à ses 800 premiers caractères. Les instructions du filtre interdisaient toute approbation si « une condition quelconque n’est pas vérifiée ou est ambiguë », et une condition qu’on ne lui montrait pas restait non vérifiée.
Les dossiers du commerce sont longs, si bien que la coupure y pesait le plus. 59,4 % des résultats d’outils du guichet boutique dépassaient la coupure de 800 caractères, contre 27,5 % au guichet aérien. Le dossier de commande du benchmark définit l’adresse et les articles avant le statut. Si le dossier est sérialisé dans cet ordre, un panier plus garni repousse le statut plus bas. Dans la modification refusée, il se trouvait au caractère 950.
Le résumé pouvait aussi rétrécir en perdant le début de la conversation. Au-delà d’une limite de longueur, il ne conservait que les huit derniers messages. Dans un autre épisode, cela a chassé la vérification d’identité du client, et le filtre s’est mis à rejeter les demandes d’annulation et de retour comme non authentifiées jusqu’à ce que l’agent abandonne. La politique du commerce place cette vérification en premier dans chaque conversation.
Le juge a validé les deux épisodes.
Une exécution notée par le juge aurait compté les deux demandes non satisfaites comme des réussites. La règle étiquette chacune comme une action manquée, une écriture due qui n’est jamais venue. Seule la configuration la plus stricte laissait des rejets répétés bloquer une écriture. Si des détaillants laissent un modèle arrêter un remboursement ou une modification de commande, la coupure à 800 caractères et la fenêtre de 20 messages deviennent la politique du client.
La meilleure objection : le dossier sans faute de la règle sur les 11 écritures dit peu de sa portée. Le critère des annotateurs était « une écriture inattendue exécutée », et le corrigé de la règle pose la même question, donc 11 sur 11 montre un accord sur cette catégorie. Sur l’ensemble des erreurs d’engagement, la règle en a repéré 24 sur 53. L’article indique aussi que la règle ne tient que lorsque l’écriture attendue a été spécifiée à l’avance, et propose de la spécifier par type de demande. Sur un guichet de retours réel, décider si une écriture est due peut encore exiger une lecture de la politique à la lumière de la conversation, ce qui cache un juge à l’intérieur de la règle bon marché. La thèse tombe si un guichet réel ne peut pas vérifier même le statut de commande et l’identité sans interprétation.
Pour les faits que le résumé a perdus, le dossier répond à la question. La politique n’autorise les annulations et les modifications que sur les commandes « en attente » (pending), et les retours et échanges que sur les commandes « livrées » (delivered). Les clients doivent d’abord être identifiés par leur adresse e-mail, ou par leur nom et leur code postal. D’autres conditions, comme le oui explicite du client, se trouvent dans la conversation ; l’article qualifie les vérifications au niveau des clauses de principal problème ouvert. Mais le statut et l’identité sont des consultations dans le journal des outils, exactement ce que le résumé avait perdu.
L’étude a un seul auteur, qui était aussi le premier annotateur ; le second était chef de produit pour les services d’IA chez QueryPie AI, alors employeur de l’auteur. Les deux annotateurs s’accordaient sur l’exactitude des engagements avec un κ de 0,477 (accord brut de 0,750) avant arbitrage, et le sous-ensemble des seuls accords compte 10 engagements prématurés, non 11. Un modèle jouait chaque client, et tous les modèles venaient d’un même éditeur. Aucun effet de filtre n’a survécu à la correction. Le défaut du résumé est confirmé dans deux épisodes retracés, sans que sa part dans l’inversion constatée dans le commerce soit mesurée.
Les chiffres précis de l’article « ne devraient pas se transposer directement » à d’autres configurations : un détaillant doit donc mesurer les siens. Il peut demander à un éditeur quelle part de la conversation lit réellement tout modèle capable d’arrêter une écriture, ainsi qu’un journal de chaque écriture confrontée à la politique. Ces limites se situent dans la couche de la frontière des outils qui, comme nous l’avons rapporté en septembre, a fait gagner 14,9 points à un agent de commerce, et aucun contrat ne la nomme. Sans elles, le taux de réussite d’un éditeur n’est que l’opinion d’un juge sur une conversation.