AI & Technology

In einem JD-nahen Werbe-Benchmark muss das Produkt die Kamerafahrt überstehen

AdSpark, ein Benchmark von Forschenden der Peking University und von JD.com, zeigt: Die geschlossenen Videomodelle, die die dynamischsten Produktanzeigen erzeugen, verlieren bei komplexen Bewegungen an Treue zum Produkt. Das Team ließ jeden generierten Clip von einer Person prüfen, und die behaltenen Daten tendieren zu ruhigen Verfolgerfahrten und langsamen Heranfahrten.

A lobster camera operator eases a film camera along a straight dolly track toward a jade-and-gold bracelet on a velvet tray with a blank paper tag, while a curved section of orbit track leans unused against the wall.

Parallax Pincer

Das Armband ist blassgrüne Jade, wie Bambus geschnitzt, mit einem weißen Ginkgoblatt, das an einer goldenen Schlaufe hängt. Das Skript verlangt eine langsame Heranfahrt über beigen Samt, dann eine Makroaufnahme einer einzelnen Perle. In Abbildung 11 des Papers gibt Kling 3.0 Omni im Makro-Frame die Schlaufe als Goldschleifen wieder; der Text sagt lediglich, dass mehrere Methoden in Nahaufnahmen die Form des Armbands und die Details des Anhängers nicht erhalten. Eine Marktplatz-Anzeige wird danach beurteilt, ob das Produkt im letzten Frame noch das aus dem Angebot ist. Dieses Armband ist eines von 220 Produkten in einem neuen Benchmark von Forschenden der Peking University und von JD.com, die Treueverluste bei komplexen Bewegungen melden. Dieser Dispatch liest diese Verluste als Problem der bewegten oder näher heranrückenden Kamera.

AdSpark, am 7. Oktober auf arXiv erschienen, stellt rund 300.000 Produktfotos und Anzeigenskripte den passenden Videos gegenüber und bewertet generierte Anzeigen in sechs Dimensionen. Das Paper nennt seine Quelle nur „eine große E-Commerce-Plattform”, erreicht über „autorisierte interne Schnittstellen”, und nennt JD nicht, obwohl sechs der neun Autorinnen und Autoren dort arbeiten. JD bietet Händlern bereits generierte Videos an: Der Design-Agent Oxygen Vision habe während des 618-Sales „die massenhafte Erstellung KI-generierter Bilder, Texte und Videos unterstützt”, so JD. JDs Nutzungszahl vom Januar 2025 umfasst alle Formate: Die Jingdiandian-Tools seien über 10 Millionen Mal pro Tag genutzt worden, für mehr als 350.000 Händler.

TikTok bewarb Seedance 2.0 im April bei Werbetreibenden; in den Worten von Social Media Today bleiben Produkte „über Videosegmente hinweg erkennbar, mit weniger manuellen Korrekturen”. Bei den Segmenten stimmt AdSpark zu: Seedance erzielte mit 94,99 den besten Cross-Shot-Wert, der das Produkt diesseits und jenseits eines Schnitts mit sich selbst vergleicht. Gegen das Foto des Händlers lag die Gesamtübereinstimmung (im Paper der Wert für Subject Consistency) bei 63,04, unter offenen Modellen wie VACE (71,22), die die geplanten Schnitte weitgehend ausließen. Geschlossene Modelle erzeugen die dynamischeren Clips, schreiben die Autoren, doch „die Wahrung der Produkttreue bei komplexen Bewegungen bleibt ein prominentes Problem”. Das Paper schlüsselt diesen Verlust nicht nach Art der Kamerabewegung auf.

Zwei Anbieter treten mit je zwei Generationen auf, und in beiden Paaren erzielt das neuere Modell die niedrigere Gesamtübereinstimmung. ViduQ3, das laut Paper „komplexe Bewegung und filmisches Erzählen stärker betont”, fiel von 70,16 bei ViduQ2 auf 60,57, und sein Wert für Logos, Markenzeichen und Verpackungsdetails sank von 66,49 auf 58,72. Pixverse V6 rutschte gegenüber V5 auf dieselbe Weise ab. ViduQ2 und Pixverse V5 schneiden kaum, mit Cross-Shot-Werten von 2,85 und 2,75, während Q3 und V6 die geplanten Schnitte und Makros ausführen (84,76 und 55,18). Ob einer von beiden Faktoren den Abfall verursacht hat, prüft das Paper nicht. Verpackungstext, per OCR zurückgelesen, verbesserte sich in beiden Paaren, doch kein Modell erreichte im 72 Fälle umfassenden Textsubset 35 von 100 Punkten; Seedance führte mit 34,31.

Für den generierten Teil seiner Daten, zwei Drittel, nutzte das Team Seedance 2.0 als Hauptgenerator, neben HappyHorse und Kling. Anschließend sah sich einer von 20 geschulten Annotatoren jeden Clip an und sortierte alles aus, was „erhebliche Verformung, Farbverschiebung, Verpackungsaustausch, Logo-Beschädigung oder Identitätswechsel zwischen Einstellungen” zeigte. Wie viele durchfielen, sagt das Paper nie. Es sagt nur, dass das Team eine nach Klicks geordnete Liste von 348.526 infrage kommenden Produkten abarbeitete, mit höchstens einer Anzeige je Produkt, bis 200.000 bestanden hatten.

Der fertige Datensatz neigt zu sanfter Kameraarbeit. Nach den Labels des Datensatzes, die alle 300.000 Samples abdecken, verfolgen 38 % der Einstellungen das Produkt und 35 % fahren darauf zu, was die Autoren „gleichmäßiges Verfolgen des Motivs und allmähliche visuelle Betonung” nennen. Orbits machen 5,2 % aus (4,74 % nach rechts, 0,43 % nach links), Handkamera-Aufnahmen 0,27 % und fixierte Einstellungen 1,45 %. GPT-5.5 plante die Kamerapfade für die generierten Clips, und die Frame-Filter, die Material aussortieren, in dem das Produkt weniger als 5 % oder mehr als 80 % des Bildes füllt, den Rand berührt oder zwischen Frames springt, wurden allein auf das reale Material angewandt. Orbits würden ein Modell plausibel dazu zwingen, die Seiten zu erfinden, die ein einzelnes Angebotsfoto nie zeigt, auch wenn das Paper das nicht testet.

Auf diesem Datensatz feinjustiert, hielt das offene Modell LTX-2 das Produkt besser: von 50,39 auf 65,01 bei der Gesamtübereinstimmung und von 7,59 auf 29,50 beim Text. Sein Cross-Shot-Wert sprang von 33,30 auf 93,59, wobei ein Teil davon daher rührt, dass es lernt, auf Kommando zu schneiden, denn ein geplanter Schnitt, der nie kommt, zählt null. Bei der Produktübereinstimmung schnitt reales Material besser ab: Trainiert mit 100.000 realen Clips erreichte das Modell 64,73 bei der Gesamtübereinstimmung, mit 100.000 synthetischen 58,17. Die synthetischen Clips erzielten höhere Werte bei der Shot-Struktur (71,79 gegenüber 70,68), den Übergängen (80,09 gegenüber 72,76) und der Erzählung (81,38 gegenüber 78,26), und das Paper sagt, der vollständige Datensatz schneide am besten ab, weil sich die beiden Teilmengen ergänzen.

Die Mode hat schon einmal erlebt, wie eine technische Grenze zum Look wurde. Flipboards Porträt von 2013 über Kevin Burg führt das Cinemagraph auf die Dateigrößenbeschränkung von Tumblr zurück, die ihn dazu brachte, nur einen kleinen Teil jedes Bildes zu animieren. Er und Jamie Beck begannen, sie nach einem Shooting zur New York Fashion Week 2011 zu posten, und arbeiteten später kommerziell für Ralph Lauren und Saks Fifth Avenue. Zu seinem ersten sagte Burg: „Ich habe verschiedene Bereiche eingefroren und in anderen Animation zugelassen.”

Die Anzeigen, die AdSpark lehrt, kehren Burgs Regel um: Kamera, Fokus und Hände bewegen sich, und der eingefrorene Bereich ist das, was verkauft wird.

Im September stellte JD Cloud Lingjing vor, ein AIGC-Studio, das Arbeit über Seedance, Kling, Vidu und andere Modelle leitet, berichtete QbitAI. JD Clouds Zusammenfassung in drei Wörtern beginnt mit 懂货, „kennt die Ware”, und der Bericht beschreibt außerdem einen 180°-Orbit um eine Figur und einen dynamischen 3D-Regietisch für Kamerapfade. AdSpark testete Seedance 2.0, nicht die Version 2.5, die TikTok ausgewählten Werbetreibenden in ausgewählten Märkten ausrollt, und seine Daten sind nur „nach Annahme” zugesagt. Manche Modelle in Abbildung 11 halten den Anhänger durch die Makroaufnahme, andere verlieren ihn; solange das von Modell zu Modell schwankt, gehört der Prüfer zur Kamera-Crew.

Verwandte Artikel