Les chatbots récompensent des notes de bas de page qu'ils ne peuvent pas vérifier
Kelly Pedersen, de PwC, affirme que les start-ups qui se disent « les plus sûres » raflent les recommandations des IA aux enseignes établies, plus prudentes. Deux études montrent qu'en moyenne le ton assuré change peu le comportement des moteurs, alors que statistiques et essais cliniques inventés pèsent lourd ; les régulateurs de la publicité demandent à voir les preuves.

Sir John Crabstone
Dans un entretien accordé à Glossy publié le 1er octobre, Kelly Pedersen, responsable mondiale du retail chez PwC US, affirme que les marques historiques, réfractaires au risque, perdent des recommandations d’IA au profit de start-ups plus audacieuses. Sa preuve : un test de recherche sur des vélos pour enfants de 11 et 14 ans, où les assistants recommandaient sans cesse deux ou trois start-ups qui se présentaient comme « les plus sûres » ou « les plus rapides ». Deux études désignent une autre cause : en moyenne, le ton assuré change à peine le comportement des moteurs, tandis que les allégations qui paraissent vérifiables le changent beaucoup, que quelqu’un les ait vérifiées ou non. Les régulateurs de la publicité, eux, attendent que quelqu’un l’ait fait.
Le test des vélos ne repose que sur l’entretien. Le Holiday Outlook de PwC, le rapport d’enquête dont Pedersen parlait, indique que 29 % des consommateurs américains comptent recourir à l’IA pour leurs achats de fin d’année, contre 22 % l’an dernier. Il ne mentionne pas les vélos. Aucun des deux documents ne nomme les assistants ni les requêtes : personne en dehors de PwC ne peut donc refaire le test.
Ce que Pedersen dit gagnant, des « allégations produit faisant autorité et spécifiques », associe deux qualités que la recherche a dissociées. Pranjal Aggarwal et ses collègues, dont l’article KDD 2024 a baptisé l’optimisation pour les moteurs génératifs (generative-engine optimisation), ont testé surtout des questions informatives ; l’analogie avec une fiche produit est donc de notre cru. Réécrire une page pour la rendre plus « persuasive et faisant autorité » n’a apporté « aucune amélioration significative » sur leur principal moteur de test, même si le ton a aidé sur les requêtes de type débat et sur l’histoire. Ajouter des statistiques ou des citations, ou citer des sources, a relevé la visibilité de 30 à 40 % selon une mesure de nombre de mots corrigée de la position, et de 15 à 30 % selon la mesure d’impression subjective de l’article.
Ce gain semble tenir à l’apparence de la preuve. Les consignes à l’origine de ces réécritures demandaient des statistiques « même hypothétiques » et des citations « même fausses ». Rien dans le test ne vérifiait que les chiffres étaient vrais ; les moteurs les ont récompensés quand même.
Une étude de juin a éprouvé ce point sur les soins de la peau. Xi Chu et YuPeng Hou ont opposé des marques inventées à des références comme CeraVe, à spécifications identiques, sur trois modèles commerciaux. Sans aide, la nouvelle venue remportait environ 4 % des choix en face-à-face. Deux phrases invoquant des dermatologues et un « essai clinique évalué par des pairs (n=120, p<0.01) » ont porté ce score à 73 % en moyenne ; Gemini approchait les 100 % et Claude 55 %, tandis que les formules sur la rareté n’atteignaient que 12 %. L’essai était inventé, et les auteurs rangent de telles allégations parmi la « publicité mensongère potentielle ». Leur dispositif reposait sur un profil d’acheteur fixe et des fiches de soins de la peau synthétiques, sans récupération d’information : toute extension aux vélos et aux doudounes est de notre fait.
Un modèle voit qu’une allégation porte une blouse de laboratoire ; il ne voit pas s’il y a jamais eu un laboratoire.
L’habillement sait déjà ce qu’exige un superlatif. En 2015, la National Advertising Division, l’organe d’autorégulation du secteur publicitaire américain, a recommandé à Eddie Bauer de retirer « Le plus léger. Le plus chaud. » de ses publicités pour une doudoune en duvet. L’entreprise a protesté, tout en précisant que ces publicités n’étaient plus diffusées depuis des mois. Les deux termes étaient « objectivement mesurables » : il ne s’agissait donc pas d’exagération publicitaire tolérée ; de telles allégations exigent en général des tests comparatifs face à une part substantielle des produits concurrents, « généralement 80 % ». À notre avis, « le plus sûr » et « le plus rapide » sont des allégations du même ordre.
Le régulateur britannique s’est penché directement sur les agents d’IA. Ses lignes directrices de mars sur les agents d’IA précisent qu’il importe peu que les clients obtiennent leurs informations d’une personne ou d’un agent d’IA ; la CMA peut infliger à une entreprise une amende allant jusqu’à 10 % de son chiffre d’affaires mondial pour les avoir induits en erreur. Ces lignes directrices visent les robots propres à l’entreprise, pas les textes rédigés pour le compte d’autrui. La fiche produit, elle, a toujours appartenu à la marque.
Le gain s’érode aussi dès que les concurrents copient la méthode. Dans le marché simulé de Chu et Hou, un seul challenger recourant aux formules d’autorité ne laissait l’établi recommandé que dans 19,8 % des essais. Quand les neuf challengers s’y sont tous mis, ce chiffre est remonté à 93,8 %. La première suggestion des auteurs aux plateformes est de vérifier les allégations d’autorité dans les descriptions de produits. Si les moteurs apprennent à vérifier, les marques dotées de vrais rapports d’essai risquent de perdre peu ; l’effet pourrait toutefois ne pas disparaître partout, puisque Gemini ne recommandait encore l’établi que dans 84,9 % des essais en cas d’adoption universelle.