Dans un benchmark publicitaire lié à JD, le produit doit survivre au mouvement de caméra
AdSpark, un benchmark conçu par des chercheurs de l'université de Pékin et de JD.com, constate que les modèles vidéo fermés qui réalisent les publicités produit les plus dynamiques perdent en fidélité au produit lors des mouvements complexes. L'équipe a fait vérifier chaque clip généré par une personne, et les données conservées penchent vers les travellings de suivi fluides et les lents travellings avant.

Parallax Pincer
Le bracelet est en jade pâle sculpté comme du bambou, avec une feuille de ginkgo blanche suspendue à une volute d’or, et le script prévoit un lent travelling avant sur du velours beige, puis un plan macro sur une perle. Dans la figure 11 de l’article, le plan macro de Kling 3.0 Omni restitue la volute sous forme de boucles dorées ; le texte dit seulement que plusieurs méthodes ne parviennent pas à préserver la forme du bracelet et les détails du pendentif dans les plans rapprochés. Une publicité de place de marché se juge à une question : le produit de la dernière image est-il encore celui de la fiche ? Ce bracelet est l’un des 220 produits d’un nouveau benchmark conçu par des chercheurs de l’université de Pékin et de JD.com, qui font état de pertes de fidélité dans les mouvements complexes ; cette dépêche lit ces pertes comme un problème de caméra qui bouge ou se rapproche.
AdSpark, publié sur arXiv le 7 octobre, associe environ 300 000 photos de produits et scripts publicitaires à des vidéos, et note les publicités générées selon six dimensions. L’article ne désigne sa source que comme « une grande plateforme de e-commerce », atteinte par des « interfaces internes autorisées », et ne nomme pas JD, bien que six de ses neuf auteurs y travaillent. JD propose déjà de la vidéo générée aux marchands : son agent de design Oxygen Vision a « permis la création à grande échelle d’images, de contenus écrits et de vidéos générés par IA » pendant les soldes 618, a indiqué JD. Le chiffre d’usage de JD, qui date de janvier 2025, couvre tous les formats : les outils Jingdiandian ont été utilisés plus de 10 millions de fois par jour, au service de plus de 350 000 marchands.
TikTok a présenté Seedance 2.0 aux annonceurs en avril ; selon la formule de Social Media Today, les produits « restent reconnaissables d’un segment vidéo à l’autre avec moins de corrections manuelles ». AdSpark confirme ce point pour les segments : Seedance a obtenu le meilleur score inter-plans, 94,99, qui compare le produit à lui-même de part et d’autre d’une coupe. Face à la photo du marchand, sa correspondance globale (le score Subject Consistency de l’article) était de 63,04, en dessous de modèles ouverts comme VACE (71,22), qui ont pour la plupart ignoré les coupes prévues. Les modèles fermés produisent les clips les plus dynamiques, écrivent les auteurs, mais « préserver la fidélité au produit pendant les mouvements complexes reste un problème majeur ». L’article ne ventile pas cette perte par type de mouvement de caméra.
Deux éditeurs apparaissent avec deux générations chacun, et dans les deux paires le modèle le plus récent obtient un moins bon score de correspondance globale. ViduQ3, qui selon l’article « met davantage l’accent sur le mouvement complexe et la narration cinématographique », est passé des 70,16 de ViduQ2 à 60,57, et son score pour les logos, marques et détails d’emballage a chuté de 66,49 à 58,72. Pixverse V6 a reculé de la même façon par rapport à V5. ViduQ2 et Pixverse V5 coupent à peine, avec des scores inter-plans de 2,85 et 2,75, alors que Q3 et V6 exécutent les coupes et les macros prévues (84,76 et 55,18) ; l’article ne teste pas lequel des deux facteurs a causé la baisse. Le texte des emballages, relu par OCR, s’est amélioré dans les deux paires, mais aucun modèle n’a atteint 35 sur 100 sur le sous-ensemble de 72 cas de texte, Seedance arrivant en tête avec 34,31.
Pour les deux tiers générés de ses données, l’équipe a utilisé Seedance 2.0 comme générateur principal, aux côtés de HappyHorse et de Kling. L’un des 20 annotateurs formés a ensuite visionné chaque clip et écarté tout clip montrant « une déformation substantielle, une dérive de couleur, un remplacement d’emballage, une corruption de logo ou des changements d’identité entre plans ». L’article ne dit jamais combien de clips ont été rejetés. Il précise seulement que l’équipe a parcouru une liste de 348 526 produits éligibles classés par clics, avec au plus une publicité par produit, jusqu’à en avoir validé 200 000.
Le jeu final penche vers un travail de caméra sage. D’après les étiquettes du jeu de données, qui couvrent les 300 000 échantillons, 38 % des plans suivent le produit et 35 % avancent sur lui en travelling, ce que les auteurs décrivent comme « un suivi fluide du sujet et une mise en valeur visuelle progressive ». Les orbites représentent 5,2 % (4,74 % vers la droite, 0,43 % vers la gauche), les plans à l’épaule 0,27 % et les plans fixes 1,45 %. GPT-5.5 a planifié les trajectoires de caméra des clips générés, et les filtres d’images qui écartent les séquences où le produit occupe moins de 5 % ou plus de 80 % du cadre, touche le bord ou saute d’une image à l’autre n’ont été appliqués qu’aux séquences réelles. Les orbites demanderaient vraisemblablement au modèle d’inventer les côtés qu’une seule photo de fiche ne montre jamais, même si l’article ne le teste pas.
Affiné sur ce jeu, le modèle ouvert LTX-2 a mieux conservé le produit, passant de 50,39 à 65,01 en correspondance globale et de 7,59 à 29,50 sur le texte. Son score inter-plans a bondi de 33,30 à 93,59, en partie parce qu’il a appris à couper au bon moment : une coupe prévue qui n’arrive jamais vaut zéro. Sur la correspondance au produit, les images réelles ont fait mieux : entraîné sur 100 000 clips réels, le modèle a atteint 64,73 en correspondance globale ; sur 100 000 clips synthétiques, 58,17. Les clips synthétiques ont obtenu de meilleurs scores sur la structure des plans (71,79 contre 70,68), les transitions (80,09 contre 72,76) et la narration (81,38 contre 78,26), et l’article précise que le jeu complet donne les meilleurs résultats parce que les deux sous-ensembles se complètent.
La mode a déjà vu une limite technique se durcir en style. Le portrait de Kevin Burg publié par Flipboard en 2013 fait remonter le cinémagraphe à la limite de taille de fichier de Tumblr, qui l’a poussé à n’animer qu’une petite partie de chaque image. Lui et Jamie Beck ont commencé à en publier après un shooting de la New York Fashion Week en 2011, puis ont réalisé des commandes commerciales pour Ralph Lauren et Saks Fifth Avenue. À propos du premier, Burg a déclaré : « J’ai figé certaines zones et laissé l’animation dans d’autres. »
Les publicités qu’enseigne AdSpark appliquent la règle de Burg à l’envers : la caméra, la mise au point et les mains bougent, et la zone figée, c’est l’objet à vendre.
En septembre, JD Cloud a dévoilé Lingjing, un studio AIGC qui répartit le travail entre Seedance, Kling, Vidu et d’autres modèles, a rapporté QbitAI. Le résumé en trois mots que donne JD Cloud s’ouvre sur 懂货, « connaît la marchandise », et le reportage décrit aussi une orbite à 180° autour d’un personnage ainsi qu’une table de réalisation dynamique en 3D pour les trajectoires de caméra. AdSpark a testé Seedance 2.0, et non la 2.5 que TikTok déploie auprès d’annonceurs sélectionnés sur des marchés sélectionnés, et ses données ne sont promises qu’« à l’acceptation » de l’article. Certains modèles de la figure 11 tiennent le pendentif pendant le plan macro et d’autres le perdent ; tant que cela varie d’un modèle à l’autre, l’inspecteur fait partie de l’équipe de tournage.