Anokis Prüfregeln würden 117 von 120 KI-Produktanzeigen ablehnen
Mit den Befunden der KI-Judges auf dem Bildschirm markierten Anokis Prüfer das Produkt in den meisten Szenen der selbst generierten Videoanzeigen des Unternehmens als falsch, und die Prüfregeln würden 117 von 120 ablehnen. Prüfer ohne die Befunde markierten weniger als halb so viel. Damit liegt die Grenze für eine Anzeige zu jedem SKU am Prüfbildschirm – ein Kostenfaktor, den die „ad-ready“-Verkaufsversprechen verschweigen.

Neritus Vale
Eine Anzeige in Anokis Studie bewirbt ein Hautpflegeserum, und die Prüfer markierten das Serum in jeder generierten Szene als falsch, vom verzeichneten Logo bis zum verstümmelten Text der Inhaltsstoffe. Die Sprechertexte machen aus den Antworten von Nutzern in einer Unternehmensumfrage ein beobachtetes Ergebnis: „Ninety-one percent saw faded marks“, und ein Script-Judge hat diese Umdeutung markiert. Anokis Zahlen legen nahe, dass die Grenze einer Pipeline, die „für jedes Katalogprodukt eine Anzeige“ erstellen soll, in der Prüfung liegt.
Das Paper „Multimodal Judges Flag, Humans Decide“ erschien am 9. November auf arXiv, verfasst von Forschern von Anoki, einem Ad-Tech-Unternehmen für Connected TV. Die Pipeline macht aus der Produktliste und den Katalogfotos eines Produkts eine kurze Anzeige mit Skript, Sprecher, Szenen und Untertiteln. Der Test war eine Prüfrunde mit 120 Anzeigen „in one market, with English narration“. Anoki-Mitarbeiter prüften sie mit den Befunden von KI-Judges, die auf geschlossenen Modellen laufen.
Die Anzeigen scheiterten am Produkt. Per Mehrheitsvotum traten Probleme bei Skript, Untertiteln und Ton jeweils bei unter 10 % der Anzeigen auf. Worte und Ton gelangen überwiegend; das beworbene Ding nicht. Bei 60 % der Szenen markierte eine Mehrheit das Produkt als falsch. Das ist der Fehler, den eine Kundin beim Öffnen des Pakets selbst überprüfen kann.
Nach Anokis Regeln übersteht kaum eine Anzeige diese Markierungen. Ist das Produkt in irgendeiner Szene als falsch markiert, wird die Anzeige abgelehnt. Nach den Markierungen der Mehrheit, die bei 40 der 120 Anzeigen von einem einzigen Prüfer stammten, würde allein diese Regel 117 der 120 Anzeigen vor jeder Bearbeitung ablehnen. Die Autoren nennen solche Schwellenwerte „policy choices“, und ein Mensch kann das Urteil überstimmen.
Keines der beiden Verkaufsversprechen erwähnt, dass das Produkt mit seinem Listing abgeglichen wird. Amazons Hinweis zum Start des Video Generators, datiert auf den 19. November 2025 und mit „Open Beta“ gekennzeichnet, verspricht „professional video ads within minutes“ aus einer Produktdetailseite und nennt sie „ad-ready“. Anokis CreativeAI „delivers ready-to-run video ads“ und bietet Änderungen „before it’s made or after“. Das Paper testet keines der beiden Tools, nennt die Videomodelle nicht, die seine Anzeigen erzeugt haben, und sagt nirgends, ob seine Pipeline CreativeAI ist. Getestet wird das Wort „ready“.
Amazons Hinweis bietet Werbetreibenden Kontrolle über Überschriften, Schriftarten, Farben und Logo-Platzierung und nennt keine über das Produkt auf dem Bildschirm.
Ohne die Judges sinken die Produktmarkierungen auf weniger als die Hälfte. Zwei Prüfer gingen eine Teilmenge der Anzeigen durch, ohne dass ein Judge sichtbar war, und markierten das Produkt im Schnitt in 26 % der Szenen als falsch. Die Prüfer der Runde, zu denen einer der beiden gehörte, hatten diese Szenen mit Befunden auf dem Bildschirm gesehen. Ihre Mehrheit hatte 58 % markiert.
Prüfer R2 sah dieselben Anzeigen auf beide Arten, zuerst mit Befunden, wodurch die Person konstant bleibt. Mit den Befunden markierte R2 das Produkt in 57 % der Szenen als falsch, ohne sie in 19 %. Die Erinnerung an die Befunde hätte R2s Markierungen ohne Hilfe eher erhöhen und die Lücke verkleinern müssen.
Zwei Prüfer sind eine schmale Basis. Ohne Hilfe markierten sie 33 % und 19 % der Szenen, und die Autoren sagen, dass ein Crossover mit mehr Prüfern nötig ist, um Prüfer, die mit Hilfe der Judges Mängel finden, von solchen zu trennen, die nur den Flags folgen.
R2s Markierungen ohne Hilfe nahmen im Lauf der Sitzung ab, in einer explorativen Analyse. Sie begannen bei 25 % der Szenen und endeten bei 12 %, während die Prüfungen schneller wurden. Die späteren Anzeigen waren nicht sauberer: Mit Befunden blieben R2s Markierungen dort stabil. Auch der andere Prüfer ohne Hilfe wurde schneller, seine Markierungen blieben aber stabil.
Billige automatische Scores sehen das Problem kaum. Ein Produkt-Judge, der jeden Clip neben den Katalogfotos ansieht, trennte defekte von sauberen Szenen mit einer AUC von 0,84 auf blinden Labels. Die Autoren nennen seinen Vorsprung „optimistic“, da sie ihn anhand dieser Labels entworfen haben. Foto-Ähnlichkeits- und Videoqualitäts-Scores blieben nahe am Zufall. Einer davon, VideoScore2, gab 107 der 120 Clips die Bestnote für visuelle Qualität, Defekte eingeschlossen; aber er und DOVER sehen die Katalogfotos nie, sodass keiner ein falsches Produkt vom richtigen unterscheiden kann.
Anoki stimmt den Judge auf Recall ab, sodass ein Mensch jedes Flag prüft. Auf blinden Labels erfasste er 26 von 29 defekten Szenen. Weniger als die Hälfte seiner Flags traf einen gelabelten Defekt – ein Preis, den die Autoren akzeptieren, weil „a false flag costs one click to reject“. Targets MOSS-Monitor ging den umgekehrten Kompromiss ein und kalibrierte seinen Judge teils danach, was „the human triage queue can sustain“.
Der stärkste Einwand lautet, dass die Judges die Markierungen erst erzeugen. Die Prüfer akzeptierten 75 % der Befunde des Produkt-Judges, deutlich mehr als dessen Trefferquote auf blinden Labels, wobei die Autoren meinen, die Runde habe mehr Defekte enthalten. Sie räumen ein, dass sie „cannot tell how many added marks are right or how much acceptance is over-trust“. Wenn die meisten zusätzlichen Markierungen Gefälligkeit sind, haben Prüfer ohne Hilfe nicht zu wenig gezählt, und die Lösung wäre ein besserer Judge statt mehr Prüfung.
Diese Lesart verschiebt den Fehler, lässt die Kosten aber, wo sie waren. Ein Judge, dessen Flags oft falsch sind, braucht jemanden, der jedes einzelne ablehnt, und das Portal sperrt die Einreichung, bis jeder Befund einen Daumen hat. Wo die Flags stimmen, übersieht die Prüfung ohne Hilfe sie; selbst die blinden Labels, an denen der Judge gemessen wird, stammen von Annotatoren, die „miss subtle defects“. Eine Einstellung mit Vorrang für Precision tauscht eine Kostenart gegen die andere und erfasst nur 15 von 29 defekten Szenen.
Die Befunde der Runde nennen keine Kleidungsstücke, obwohl unter ihren 20 Produkten ein Sportschuh ist. Eine Anzeige für den Schuh beginnt mit einem riesigen durchscheinenden Schuh, der durch den Körper des Models schwebt. Das erste Beispiel für ein erfundenes Detail im Paper ist dagegen „an extra pocket on a pair of pants“, und sein Anhang zeigt Kurta- und Hosenanzeigen von außerhalb der Runde. In der Runde ist die Armbandschließe einer Smartwatch für eine Sekunde hellsilbern; die echte ist dunkelblau. Wenn generierte Kleidung so abdriftet, braucht jede Farbvariante ihre eigene Prüfung.
Beim Bearbeiten ist das Paper am dünnsten. Repair, ein höher aufgelöstes Neu-Rendering, behob verstümmelten Produkttext vollständig in 18 von 26 bewerteten Szenen, so das Urteil eines internen Prüfers. Jeder andere Produktfehler erfordert eine geliehene, neue oder bearbeitete Szene, und die bearbeitete Anzeige wird „reviewed again like a new ad“. Der Anteil der Anzeigen, die nach Bearbeitungen ausgeliefert werden – die Zahl, die eine Anzeige pro SKU bepreisen würde –, ist künftige Arbeit.
Bleibt die Generierung nahezu kostenlos und die Prüfung menschlich, verlagert sich das Videobudget eines Katalogs vom Studio in die Prüfwarteschlange. Ein Händler kann diese Warteschlange besetzen: Bei den im Paper angenommenen 20 $ pro Stunde kostet eine Prüfung etwa 1,40 $, und 78 der 120 Anzeigen der Runde bekamen drei. Oder er schaltet die Anzeigen ungeprüft, und eine Kundin findet beim Öffnen des Pakets womöglich eine Tasche, die es nie gab; das Paper berichtet keinen solchen Fall.