Huit acheteurs simulés ont rejoué un test A/B réel. Seul celui des auteurs est resté à moins de 30 % d'écart.
UserArena a rejoué un test A/B de production portant sur un changement de classement à travers huit simulateurs. La méthode des auteurs a restitué 71 % de l'effet réel, les rivales entraînées moins de 30 %, et deux modèles GPT-6 l'ont surestimé. La vérification porte sur une seule mesure de clics, sans données de ventes ni marges d'erreur.

Neritus Vale
Un acheteur simulé peut très bien coller aux clics enregistrés et pourtant mal juger ce qu’un changement de classement fait aux personnes qu’il imite. UserArena, un benchmark publié le 22 octobre, le montre en rejouant un test A/B réel à travers huit simulateurs. Leurs estimations de l’effet vont de presque rien à plus du double de l’effet réel. Seule la méthode proposée par les auteurs est restée à moins de 30 % d’écart.
Les équipes de recommandation voudraient que des acheteurs simulés remplacent les tests en conditions réelles, qui sont lents et peuvent exposer de vrais clients à de moins bons classements. Des chercheurs de Meta ont proposé RecoWorld, un plan d’environnements simulés où des recommandeurs agentiques « peuvent apprendre de leurs erreurs sans toucher de vrais utilisateurs ». Un article KDD 2026 de la City University of Hong Kong et de Huawei affirmait que les agents LLM présentent un « grand potentiel pour remplacer les tests A/B en ligne traditionnels ». Son critère de “performance en conditions réelles” était la précision du classement sur des journaux de films et d’Amazon Fashion mis de côté, pas un test réel.
UserArena repose sur 64 729 sessions enregistrées sur ce que l’article appelle « l’une des plus grandes plateformes de e-commerce d’Asie », qui n’est pas nommée. Ses auteurs travaillent à l’université de Leyde, à l’université Renmin de Chine, à l’Académie chinoise des sciences et chez Alibaba Group, qui a soutenu le travail via son Innovative Research Program. Ils ont reconstruit le fil de recommandation à deux colonnes de la plateforme et ses fiches produits, de sorte qu’un simulateur peut faire défiler, ouvrir des articles, ajouter au panier et acheter. L’habillement représentait 54,90 % des clics sur articles enregistrés.
La vérification décisive rejoue un test A/B de production dans chaque simulateur. Les auteurs ont fait tourner les deux politiques de classement du test sur un panel figé de 10 000 utilisateurs simulés, réparti à parts égales entre les deux bras. Ils ont ensuite comparé l’écart simulé de taux de clic par page vue à l’écart enregistré en ligne. Leur ratio fait office de score : 1,0 signifie que le simulateur a réagi exactement comme les vrais acheteurs.
OPTD, la méthode d’entraînement introduite par l’article, a restitué 71 % de l’effet réel. Quatre rivales entraînées, STA, Customer-R1, Shop-R1 et AlignUSER, reposent sur le même petit modèle Qwen, ce qui fixe la taille du modèle tandis que le prompting, la mémoire, le mode d’observation et le post-entraînement varient. La meilleure d’entre elles, STA, est restée sous les 30 %.
Les simulateurs les plus faibles n’ont presque rien vu du changement. AlignUSER, que Bougie et ses collègues ont conçu pour évaluer les systèmes de recommandation, a restitué 2 %. Le modèle Qwen brut, 0,4 %. Une équipe qui se fierait à l’un ou à l’autre aurait conclu que le nouveau classement ne changeait presque rien.
Les modèles généralistes d’OpenAI se sont trompés dans l’autre sens. GPT-6 Sol, classé sous « More models » comme conçu pour des “workflows complexes de code et d’agents”, a estimé l’effet à 1,576 fois l’effet réel. Le modèle phare affiché, Astra, n’a pas été testé. GPT-6 Luna, qu’OpenAI présente comme son « modèle le plus efficient », a plus que doublé l’effet.
Sur la colonne d’erreur du tableau 3, GPT-6 Sol arrive deuxième, ce qui masque une différence de nature. Son dépassement de 58 % est une erreur moindre que la sous-estimation de tous les simulateurs entraînés sauf OPTD. Les deux défauts trompent en sens opposé : l’un gonfle un changement, l’autre le réduit, au pire à presque rien.
Reproduire un comportement enregistré est une compétence différente de celle qui consiste à reproduire un changement. Dans le test sur session unique de l’article, l’erreur de taux de clic de Customer-R1, 0,0227, était la deuxième plus faible, derrière celle d’OPTD seulement. En rejouant le test réel, il n’a restitué que 19 % de l’effet. Les deux tableaux utilisent des mesures de clics différentes, des clics par action dans le fil dans un cas et par page vue dans l’autre, donc les chiffres ne sont pas interchangeables ; une faible erreur face aux journaux ne s’est pas transmise au rejeu A/B.
La validation repose sur ce seul test, et l’annexe omet la plupart de ses particularités. Elle n’indique ni la durée, ni le volume de trafic, ni l’ampleur de l’effet enregistré. Elle ne dit pas non plus ce qui différait entre les classements, au-delà des articles affichés. Sans intervalle de confiance d’aucun côté, l’article ne peut pas montrer que la lecture d’AlignUSER diffère de zéro.
Le test mesure aussi des clics, pas des ventes, et des tiers ne peuvent pas le rejouer à partir de ce qui est publié. Les mesures de taux d’ajout au panier et de résultat final de l’article comparent des sessions simulées à des sessions enregistrées, jamais au test réel. La page du projet accompagne ses exemples de trajectoires de la mise en garde qu’un « Buy » enregistré n’est « pas la confirmation d’un paiement ». Le dépôt public contient 535 sessions mises de côté et le code de calcul du tableau principal, tandis que la page du projet indique pour le jeu de données complet « Release planned ».
Un test distinct, de type Turing, demandait si des trajectoires prises une à une paraissent humaines, et celles d’OPTD étaient les plus difficiles à repérer sur quatre. Des annotateurs ayant de l’expérience des systèmes de recommandation ou de l’annotation ont comparé des trajectoires réelles et simulées côte à côte, sans savoir lesquelles étaient lesquelles. Quand ils se prononçaient sur les paires d’OPTD, ils désignaient la machine dans 59,5 % des cas, d’après notre calcul à partir des taux de victoire de 38,7 % et 26,3 % de l’article. Ressembler à un acheteur est un test distinct de celui de réagir comme une foule d’acheteurs.
L’objection la plus forte est qu’une équipe de classement n’a besoin que du sens d’un effet, et que tous les simulateurs l’ont bien donné. Si chaque simulateur réduit ou gonfle chaque changement selon son propre facteur fixe, l’ordre des classements candidats est préservé, et STA choisirait aussi bien les gagnants qu’OPTD malgré son score plus bas. Pour que la thèse tombe, il faut que ce facteur fixe existe.
Un seul test ne peut pas montrer qu’un tel facteur existe, car une réduction constante et une réduction qui varie selon le type de changement se ressemblent sur une seule paire. L’entraînement augmente l’enjeu. Si un recommandeur est ajusté contre un simulateur qui ne restitue qu’un cinquième de chaque changement, il a peu de signal à gravir. L’inflation fait un autre dégât : elle récompense le recommandeur qui poursuit tout ce à quoi le simulateur réagit trop.
OPTD est la méthode des auteurs, évaluée selon leur protocole, sur un test que seuls eux peuvent rejouer.
Toute plateforme qui dispose d’archives de tests A/B passés détient déjà la matière première qu’a utilisée UserArena. En rejouer quelques-uns à travers un simulateur, avant d’ajuster quoi que ce soit dessus, ne place aucun client devant un classement moins bon. Sauter cette étape revient à laisser un modèle d’acheteurs non calibré décider quels classements de vrais acheteurs auront le droit de voir.