Le juge LLM de Target, qui ne lit que les titres, a laissé passer quatre mauvaises recommandations sur dix dans son benchmark
Sept auteurs de Target décrivent MOSS, un moniteur où o3 note en production recommandations, résultats de recherche et offres à partir des titres de produits et du contexte de stratégie. Ses preuves de production testent si les alertes sont justes ; dans l'analyse rétrospective du benchmark de l'article, la configuration déployée est passée à côté d'environ quatre paires sur dix parmi celles que des évaluateurs humains avaient signalées.

Neritus Vale
Sept auteurs de Target ont publié un preprint sur un moniteur LLM dont les preuves de production testent si le juge a raison quand il lance une alerte. Elles disent peu de chose sur ce qu’il laisse passer. Dans Model Sanity Service (MOSS), le modèle o3 d’OpenAI note des recommandations, des résultats de recherche et des offres en production à partir des titres d’articles et du contexte de stratégie. Il tourne depuis plus de six mois chez ce que l’article appelle « un grand distributeur américain » et a fait remonter deux défauts de diffusion confirmés.
L’article est en cours d’évaluation pour IEEE BigData 2026 et ne nomme aucun déployeur au-delà de ce distributeur ; les auteurs travaillent dans le groupe Data Sciences de Target. Toutes les quatre heures, MOSS échantillonne des articles de départ selon le trafic et envoie à o3 les titres de chaque article de départ et de ses recommandations.
Le juge voit moins que quiconque dans l’article. La marque, le prix, la description, la couleur, la matière et le public cible restent dans les journaux de MOSS. Les évaluateurs qui ont étiqueté le benchmark de 498 paires disposaient des métadonnées produit complètes.
Les deux défauts attrapés par MOSS étaient de ceux qu’un titre trahit. Le complément automatique d’un emplacement de lots a associé un roman d’horreur pour adultes en format poche et un roman de fantasy pour adolescents à un livre cartonné pour enfants. La section sur les limites concède que des titres vagues peuvent produire de fausses alertes ; elle n’aborde pas le cas d’un titre qui correspond mais cache la mauvaise matière ou la mauvaise coupe. L’article ne rapporte aucun résultat sur l’habillement : ce cas relève donc de l’inférence.
L’accord avec des évaluateurs humains, défense habituelle des juges LLM, est un test faible pour un moniteur. Seules 17,5 % des paires du benchmark méritaient une alerte, si bien que l’essentiel de l’accord s’obtient sur des paires qui étaient correctes. Selon le chiffre corrigé du hasard donné par l’article, o3 atteint un κ de 0,52, contre 0,49 entre les deux évaluateurs.
Sur le classement, tous les juges de pointe ont battu les embeddings de production du distributeur, même si les auteurs ne qualifient pas ces écarts de significatifs. Avec son prompt d’origine, o3 atteint une AUC de 0,871, contre 0,794 pour les embeddings.
La configuration déployée est moins performante. Elle utilise un prompt o3 calibré, choisi en partie pour ramener le volume d’alertes « dans une plage que la file de tri humaine peut absorber ». Sur le sous-ensemble de 419 paires où toutes les méthodes étaient comparables, son F1 est de 0,556. Le rappel a bien plus chuté que le taux de faux positifs : la plupart des alertes écartées étaient donc réelles. Le système a laissé passer environ quatre paires sur dix parmi celles que les évaluateurs avaient signalées, soit un rappel de 0,584 au seuil rétrospectif des auteurs.
La calibration a coûté le plus là où le juge était le plus fort. Sa plus grande avance sur les embeddings concernait les substituts, ces articles censés remplacer l’article de départ. Le prompt calibré a divisé son rappel par deux sur ce segment, de 0,632 à 0,316 dans le texte ; le tableau IV affiche 0,737 pour la cellule de départ. Environ 19 paires de substituts méritaient une alerte : on passe donc de douze détectées à six.
Les articles associés, 60 % de l’échantillon de production, ont tenu bon : leur F1 passe de 0,729 à 0,737 avec la calibration. Le chiffre de quatre sur dix agrège donc une perte qui touche surtout les substituts et les lots. En habillement, un substitut est la robe proposée quand la première est épuisée, et il ne fonctionne que si la matière, le style et la personne qui la portera concordent. Ce juge ne voit ces détails que si le titre les porte.
Un échantillon représentatif a signalé 28,4 % des paires qu’il a notées, un taux pondéré par le trafic. L’article ne dit pas ce que les évaluateurs ont pensé de cet échantillon. Une étude distincte a fait lire à des évaluateurs 116 alertes du prompt d’origine à un seuil de 2 : 84,5 % ont été jugées exploitables et 56,0 % répondaient à la définition stricte de l’inadéquation.
Pour les offres, les évaluateurs n’ont vérifié que les paires signalées et en ont confirmé 83,2 %, ce qui teste, disent les auteurs, « la précision d’un système d’alerte ». Un échantillon tiré parmi les alertes ne peut pas contenir l’offre que le juge a laissée passer.
Rien dans les relevés de production ne compte ce que le juge a laissé passer.
Les preuves sur la recherche reposent sur 21 requêtes. Au seuil retenu pour les recommandations, o3 obtient un F1 de 0,831, avec un rappel de 0,914. Ce rappel est le meilleur argument contre la thèse de cet article. Les requêtes l’expliquent : il s’agissait de requêtes de tête, des « termes de catégorie de produits », et deux d’entre elles concentrent un peu plus de la moitié des paires signalées par des humains. Les titres servent probablement mieux les termes de catégorie ; l’article ne teste pas de prompts limités aux titres face à des requêtes portant sur une matière ou une coupe.
La baisse de 76,4 % du taux d’alertes vient du fait que MOSS a noté le correctif d’un défaut qu’il avait lui-même détecté. Hors ligne, l’emplacement de remplacement renvoyait environ un tiers de paires en moins que l’ancien. C’est voulu, mais un taux d’alertes est une proportion : un emplacement qui renvoie moins d’articles, plus sûrs, obtient un score plus bas, que les clients achètent davantage ou non.
Le module de dérive surveille les scores du juge fondés sur les seuls titres ; à lui seul, il ne voit donc que la dérive que les titres montrent. Une baisse de 1,5 point du score moyen déclenche un avertissement, et une hausse de deux points est signalée comme « plus probablement un problème de données qu’une réelle amélioration de la qualité ». L’article ajoute un nouveau scoring périodique d’un jeu de calibration fixe, qui détecte les changements de juge laissant intactes les distributions de production.
La page des dépréciations d’OpenAI annonce le retrait du snapshot o3-2025-04-16 au 11 décembre, avec gpt-5.6-sol comme remplaçant. L’article ne nomme pas le snapshot utilisé par MOSS ; il dit seulement que le scoring passe par « un point d’accès API d’entreprise interne ». La même page retire ce jour-là le snapshot gpt-5-2025-08-07, et l’article n’a testé aucun des deux remplaçants. GPT-5, exécuté avec le prompt calibré d’o3, a vu son AUC tomber à 0,528 : on ne peut donc pas supposer qu’un successeur hérite de la calibration.
La plus forte objection est que le tri exige d’abord de la précision, car une file noyée d’alertes douteuses finit par être ignorée. Les auteurs présentent MOSS comme une couche de tri, « et non un arbitre automatisé de la qualité ». Cela ne tient que si autre chose rattrape ce que le juge manque, et la prémisse de l’article l’exclut : MOSS existe parce que les métriques comportementales révèlent lentement les défaillances ciblées et les diluent. Si un substitut dans la mauvaise matière est une telle défaillance, il peut décrocher le clic et la commande avant qu’aucun signal ne s’enregistre.
Pour un distributeur qui envisage un tel moniteur, le choix porte sur ce que le juge a le droit de lire. Il peut payer des prompts plus longs et une nouvelle calibration, ou conserver un juge qui lit le titre pendant que le client lit l’étiquette.