Research & Trends

Snap laisse un LLM décider quels modèles publicitaires passent en test. Son 0,97 repose sur six points de données.

Un article de Snap, attendu au CIKM, affirme que le juge LLM qui filtre ses modèles de retrieval pour les publicités catalogue est « fortement corrélé » aux indicateurs business. Le 0,97 mis en avant est calculé sur six sources de retrieval, et deux d'entre elles le portent à elles seules ; jour par jour, la concordance est modeste, et les quatre tests A/B derrière le juge ont tous été des victoires, si bien que l'article ne montre jamais ce filtre en train de bloquer un modèle.

The Snapchat ghost in a judge's wig sits at a high bench beside an open gate, while a chalkboard behind it shows six dots, two far up in one corner and four bunched near the origin, with a straight line ruled through them and 0.97 chalked beside it.

Neritus Vale

Snap indique utiliser un LLM affiné pour filtrer les nouveaux modèles de retrieval de ses publicités catalogue avant qu’ils n’atteignent un test en conditions réelles. L’article qui décrit ce juge affirme que son score est « fortement corrélé » aux indicateurs business, et sa principale preuve est une corrélation de 0,97 avec la précision de conversion. Ce chiffre repose sur six points de données, et deux d’entre eux le portent. À une maille plus fine, le juge ne suit les conversions que modestement, et chaque modèle de ses preuves A/B était un gagnant.

L’article EGR que nous avons commenté en août décrivait un retriever ; celui-ci, attendu au CIKM le mois prochain, décrit l’instrument qui note ce type de modèles. Un Gemini 2.5 Flash affiné attribue un score à chaque produit récupéré pour les Dynamic Product Ads (DPA) de Snap, par rapport à des groupes d’intention construits à partir des vues, des ajouts au panier et des achats de l’utilisateur. Zalando indiquait en 2024 que son juge de recherche atteignait une précision comparable à celle d’annotateurs humains, pour un coût jusqu’à 1 000 fois inférieur à celui du travail humain. Snap rapporte aussi un jeu audité par des humains (F1 de 0,869), mais fonde sa démonstration sur des indicateurs business en ligne, « sur le chemin critique de la décision de lancement ».

Retirez deux sources atypiques et la corrélation s’évanouit presque. Le tableau 1 en compare six : une source de retargeting tirée du journal d’engagement de l’utilisateur lui-même, un modèle collaboratif de « utilisateurs similaires », puis des retrievals fondés sur la popularité, sur le contenu, sur l’engagement et un retrieval aléatoire. Les deux premières se situent très au-dessus des autres, tant pour la précision de conversion que pour le score du juge, et elles ancrent donc la droite ajustée. D’après notre calcul, la même corrélation sur les quatre autres sources est de 0,13. Quatre points ne prouvent pas grand-chose dans un sens comme dans l’autre, mais ils montrent que le 0,97 dépend des deux premiers.

La source de retargeting l’emporte sur la précision de conversion comme sur le score du juge presque par construction. La précision de conversion ne compte un succès que si un produit récupéré est « identique à l’article converti » dans la journée suivant l’impression ; l’article qualifie la précision de cette source de « élevée par construction ». Le juge note par rapport à des intentions bâties sur l’historique d’engagement, si bien qu’un produit que l’utilisateur vient de consulter est probablement son verdict « Exact » le plus facile. La concordance observée ici est celle d’un constat : le retargeting fonctionne, ce qu’aucun spécialiste du marketing de performance n’avait besoin d’un modèle de langage pour apprendre.

La concordance jour par jour est plus faible. Mesurée jour après jour sur un mois, avec des paires date-source regroupées à partir de deux sources de retrieval, la corrélation entre le score de pertinence et la précision de conversion est de 0,35 avec les réglages de production. L’analyse utilise les étiquettes du modèle enseignant Gemini 2.5 Pro, plus grand, et non celles du Flash déployé. L’intervalle de bootstrap va de 0,04 à 0,63.

Réduire l’historique de chaque utilisateur à la dernière journée modifie à peine les corrélations. L’article affirme que cette coupe « divise par deux la fidélité des ensembles d’intentions », et pourtant le décalage ne dépasse pas 0,06. Les auteurs écrivent que le signal business est « concentré dans une petite tranche récente d’engagement », ce qui est précisément le postulat du retargeting.

En ligne, l’article ne revendique qu’un « accord directionnel » sur quatre tests A/B, tous gagnants. Chaque nouveau modèle de contenu ou d’engagement a fait monter le score du juge, puis battu son prédécesseur sur le taux de clics et le taux de conversion, de façon significative. Un filtre justifie son existence quand il arrête un modèle qui perdrait, et l’article n’en montre aucun. Un score qui aurait monté pour chaque nouveau modèle aurait passé exactement le même test.

D’une famille de modèles à l’autre, l’ampleur de ces gains ne s’aligne pas sur le score MicroRel du juge. Le premier modèle d’engagement obtenait 0,068 contre 0,138 pour le premier modèle de contenu, soit la moitié du gain hors ligne, mais il a procuré un gain de taux de clics de 0,350 % contre 0,149 %. Sur MicroRel, le classement au sein de chaque famille correspond aux résultats en conditions réelles. L’article reconnaît des « corrélations relativement faibles » pour le retrieval fondé sur l’engagement : le juge est donc le plus faible sur la famille la plus optimisée pour les conversions.

Un article de Snap de juillet avait trouvé un autre juge LLM qui classait les systèmes à l’inverse d’un indicateur d’achat. SMART, qui partage neuf de ces douze auteurs (l’un apparaît sous un prénom différent), utilisait Gemini 3 Flash pour noter le « prospecting ». Mis en regard d’une mesure de rappel d’achat au niveau des catégories, il produisait des « classements opposés sur les mêmes systèmes ». Les auteurs de SMART ont conçu les deux indicateurs pour des objectifs différents et lisent l’inversion comme une confirmation. Lu à côté du présent article, cela suggère qu’un score de pertinence LLM s’accorde avec les indicateurs d’achat lorsque c’est le retargeting qui départage les systèmes, et s’en écarte lorsque c’est la découverte.

Un agent de Snap a rédigé les règles du juge et a oublié la démographie. Il n’a conservé que les règles qui amélioraient significativement la précision, et a fait ressortir sept des douze motifs de la ligne éditoriale de Snap, dont la taille et la couleur, mais ni le genre ni l’âge. Des éditeurs humains ont fait passer l’inadéquation démographique d’un « signal penchant vers Substitute » à une règle impérative « Irrelevant », une règle que la boucle avait « écartée à plusieurs reprises parce que les paires à inadéquation démographique sont statistiquement rares dans le jeu de calibration ». Dans l’habillement, cette paire rare, c’est par exemple une veste pour homme montrée à une acheteuse de prêt-à-porter féminin.

La validation du filtre partage cet angle mort : six sources et quatre tests gagnants ne le confrontent jamais à un modèle qui paraît meilleur hors ligne et perd en ligne.

La principale objection est que le juge ne fait que filtrer, et que le test A/B tranche toujours. Si chaque modèle qu’il laisse passer affronte un test en conditions réelles, un faux positif coûte un créneau de test plutôt que du chiffre d’affaires. Sa meilleure corrélation jour par jour, 0,50 avec le taux de conversion, est précieuse avant de payer un test A/B, puisque les indicateurs hors ligne classiques souffrent d’un « retour sparse et biaisé ». L’objection ne tient que si Snap teste aussi certains modèles que le juge déclasse, et l’article ne rapporte aucun test de ce genre.

Le résumé promet « une itération plus rapide et plus fiable du retrieval DPA avant les tests A/B », et la conclusion qualifie l’indicateur de « filtre hors ligne pour l’évaluation des modèles DPA avant le déploiement en ligne ». L’article ne rapporte aucune mesure des modèles que le filtre rejette à tort.

Les annonceurs catalogue en supportent vraisemblablement le coût, car leurs produits atteignent les acheteurs par le modèle qui franchit le filtre. Si Snap continue d’ajuster le juge pour qu’il suive les conversions, le filtre récompenserait les retrievals qui ressemblent au retargeting plutôt que les modèles qui montrent aux acheteurs quelque chose de nouveau. Snap pourrait trancher en publiant les verdicts du juge sur des modèles qui ont perdu leurs tests en conditions réelles. Les distributeurs peuvent croire sur parole le « fortement corrélé », ou demander à Snap de montrer une fois le filtre arrêter un perdant.