Research & Trends

Les règles de relecture d'Anoki rejetteraient 117 de ses 120 publicités produit générées par IA

Avec les constats des juges IA à l'écran, les relecteurs d'Anoki ont jugé le produit erroné dans la plupart des scènes des publicités vidéo générées par l'entreprise, et ses règles de relecture en rejetteraient 117 sur 120. Sans ces constats, les relecteurs ont signalé moins de la moitié des défauts : la limite d'une publicité par référence se situe donc à l'écran de relecture, un coût que les argumentaires « prêt à diffuser » passent sous silence.

A conveyor belt carries filmstrips of sneakers, serum bottles and wristwatches from a machine lettered ANOKI to one small desk, where a reviewer holding a magnifying glass and a REJECT stamp sits beside a brass robot sticking red flags on the strips, while a nautilus watches from a tall pile of rejected strips.

Neritus Vale

Une publicité de l’étude d’Anoki vend un sérum de soin, et les relecteurs ont jugé le sérum erroné dans chaque scène générée, du logo mal dessiné au texte des ingrédients illisible. Sa narration transforme les réponses d’utilisateurs à une enquête de l’entreprise en résultat observé, « Quatre-vingt-onze pour cent ont vu les marques s’estomper », et un juge de script a signalé la modification. Les chiffres d’Anoki laissent penser que la limite d’une chaîne conçue pour « faire une publicité pour chaque produit du catalogue » est la vérification.

L’article, « Multimodal Judges Flag, Humans Decide », a été mis en ligne sur arXiv le 9 novembre par des chercheurs d’Anoki, une société de publicité pour télévision connectée. Sa chaîne transforme la fiche et les photos catalogue d’un produit en une courte publicité avec script, narration, scènes et sous-titres. Le test porte sur un seul tour de relecture de 120 publicités « sur un marché, avec narration en anglais ». Des collaborateurs d’Anoki les ont relues avec les constats de juges IA fondés sur des modèles fermés.

Les publicités péchaient par le produit. Au vote majoritaire, les problèmes de script, de sous-titres et de son apparaissaient chacun sur moins de 10 % des éléments. Les mots et le son étaient pour l’essentiel corrects ; la chose vendue, non. Une majorité a jugé le produit erroné dans 60 % des scènes. C’est l’erreur qu’une cliente ou un client peut vérifier en ouvrant le colis.

Selon les règles d’Anoki, presque aucune publicité ne survit à ces marques. Un produit jugé erroné dans une seule scène fait rejeter la publicité. D’après les marques de la majorité, qui sur 40 des 120 publicités étaient celles d’un seul relecteur, cette règle suffirait à elle seule à en rejeter 117 sur 120 avant toute retouche. Les auteurs qualifient ces seuils de « choix de politique », et une personne peut passer outre le verdict.

Aucun des deux argumentaires ne mentionne de comparer le produit à sa fiche. La note de lancement d’Amazon Video Generator, datée du 19 novembre 2025 et marquée « Open Beta », promet des « publicités vidéo professionnelles en quelques minutes » à partir d’une page produit et les qualifie de « prêtes à diffuser » (« ad-ready »). CreativeAI d’Anoki « fournit des publicités vidéo prêtes à diffuser » et propose des retouches « avant ou après la création ». L’article ne teste aucun de ces outils, ne nomme pas les modèles vidéo qui ont produit ses publicités et ne dit jamais si sa chaîne est CreativeAI. Ce qu’il teste, c’est le mot « prêt ».

La note d’Amazon offre aux annonceurs un contrôle sur les titres, les polices, les couleurs et le placement du logo, et n’en cite aucun sur le produit affiché à l’écran.

Sans les juges, les marques sur le produit tombent à moins de la moitié. Deux relecteurs ont parcouru un sous-ensemble des publicités sans voir aucun juge et ont jugé le produit erroné dans 26 % des scènes en moyenne. Les relecteurs du tour, dont l’un des deux, avaient vu ces scènes avec les constats à l’écran. Leur majorité en avait marqué 58 %.

Le relecteur R2 a vu les mêmes publicités dans les deux conditions, constats d’abord, ce qui neutralise l’effet de la personne. Avec les constats, R2 a jugé le produit erroné dans 57 % des scènes ; sans eux, 19 %. Le souvenir des constats aurait dû, au contraire, relever les marques de R2 sans aide et réduire cet écart.

Deux relecteurs, c’est une base mince. Sans aide, ils ont marqué 33 % et 19 % des scènes, et les auteurs disent qu’il faudrait un essai croisé avec davantage de relecteurs pour distinguer ceux qui trouvent des défauts grâce aux juges de ceux qui ne font que suivre les signalements.

Les marques de R2 sans aide ont aussi décliné au fil de la session, dans une analyse exploratoire. Elles sont parties de 25 % des scènes pour finir à 12 %, tandis que les relectures s’accéléraient. Les dernières publicités n’étaient pas plus propres : avec les constats, les marques de R2 sur celles-ci sont restées stables. L’autre relecteur sans aide est lui aussi allé plus vite, sans que ses marques baissent.

Les scores automatiques bon marché ne voient presque pas le problème. Un juge produit qui regarde chaque clip à côté des photos du catalogue a séparé les scènes défectueuses des scènes saines avec une AUC de 0,84 sur des étiquettes en aveugle. Les auteurs jugent cette avance « optimiste », puisqu’ils l’ont conçu à partir de ces étiquettes. Les scores de similarité photo et de qualité vidéo sont restés proches du hasard. L’un d’eux, VideoScore2, a attribué à 107 des 120 clips sa meilleure note de qualité visuelle, défauts compris ; mais lui et DOVER ne voient jamais les photos du catalogue, et ni l’un ni l’autre ne peut donc distinguer un mauvais produit du bon.

Anoki règle le juge pour le rappel, de sorte qu’une personne vérifie chaque signalement. Sur les étiquettes en aveugle, il a repéré 26 des 29 scènes défectueuses. Moins de la moitié de ses signalements correspondaient à un défaut étiqueté, un prix que les auteurs acceptent car « un faux signalement coûte un clic pour le rejeter ». Le moniteur MOSS de Target a fait l’arbitrage inverse, en calibrant son juge en partie sur ce que « la file de tri humaine peut absorber ».

La plus forte objection est que les juges fabriquent les marques. Les relecteurs ont accepté 75 % des constats du juge produit, bien au-dessus de son taux de réussite sur les étiquettes en aveugle, même si les auteurs pensent que le tour comptait davantage de défauts. Ils reconnaissent qu’ils « ne peuvent pas dire combien de marques ajoutées sont justes ni quelle part de l’acceptation relève d’une confiance excessive ». Si la plupart des marques supplémentaires relèvent de la déférence, les relecteurs sans aide ne sous-comptaient pas, et le remède est un meilleur juge, non davantage de relecture.

Cette lecture déplace l’erreur mais laisse le coût où il était. Un juge dont les signalements sont souvent faux exige qu’une personne rejette chacun d’eux, et le portail bloque l’envoi tant que chaque constat n’a pas reçu un pouce. Là où les signalements sont justes, la relecture sans aide les manque ; même les étiquettes en aveugle qui notent le juge viennent d’annotateurs qui « ratent les défauts subtils ». Un réglage privilégiant la précision échange un coût contre l’autre : il ne repère que 15 des 29 scènes défectueuses.

Les constats du tour ne nomment aucun vêtement, bien que ses 20 produits incluent une chaussure de sport. Une publicité pour cette chaussure s’ouvre sur une chaussure géante translucide qui traverse le corps du mannequin. Pourtant, le premier exemple de détail inventé de l’article est « une poche supplémentaire sur un pantalon », et son supplément montre des publicités de kurta et de pantalons extérieures au tour. Dans le tour, la boucle du bracelet d’une montre connectée est d’un argent éclatant pendant une seconde ; la vraie est bleu foncé. Si les vêtements générés dérivent ainsi, chaque coloris exigera sa propre relecture.

La retouche est le point où l’article est le plus mince. La réparation, un nouveau rendu en résolution supérieure, a entièrement corrigé le texte produit illisible dans 18 des 26 scènes évaluées, selon le jugement d’un relecteur interne. Tout autre défaut de produit exige une scène empruntée, nouvelle ou retouchée, et la publicité retouchée est « relue à nouveau comme une nouvelle publicité ». La part des publicités livrées après retouches, le chiffre qui donnerait un prix à une publicité par référence, relève de travaux futurs.

Si la génération reste presque gratuite et la relecture humaine, le budget vidéo d’un catalogue passe du studio à la file de relecture. Un distributeur peut doter cette file en personnel : au tarif supposé de 20 $ de l’heure dans l’article, une relecture coûte environ 1,40 $, et 78 des 120 publicités du tour en ont reçu trois. Il peut aussi diffuser les publicités sans contrôle, et une cliente ou un client pourra ouvrir le colis et y trouver une poche qui n’a jamais existé ; l’article ne rapporte aucun cas de ce genre.

Articles liés