Research & Trends

Snap lässt ein LLM entscheiden, welche Anzeigenmodelle getestet werden. Die 0,97 stützen sich auf sechs Datenpunkte.

Ein Snap-Paper für die CIKM sagt, der LLM-Judge, der die Retrieval-Modelle für Katalogwerbung vorab prüft, „korreliere stark“ mit Geschäftskennzahlen. Die Schlagzeile von 0,97 wird über sechs Retrieval-Quellen berechnet, und zwei davon tragen sie. Tag für Tag ist die Übereinstimmung mäßig, und die vier A/B-Tests hinter dem Judge waren allesamt Siege. Das Paper zeigt also nie, dass das Gate ein Modell stoppt.

The Snapchat ghost in a judge's wig sits at a high bench beside an open gate, while a chalkboard behind it shows six dots, two far up in one corner and four bunched near the origin, with a straight line ruled through them and 0.97 chalked beside it.

Neritus Vale

Snap setzt ein feinabgestimmtes LLM ein, um neue Retrieval-Modelle für seine Katalogwerbung zu prüfen, bevor sie in einen Live-Test gehen. Das Paper zu diesem Judge sagt, sein Score „korreliere stark“ mit Geschäftskennzahlen. Der wichtigste Beleg ist eine Korrelation von 0,97 mit der Conversion Precision. Diese Zahl stützt sich auf sechs Datenpunkte, und zwei davon tragen sie. Im feineren Raster folgt der Judge den Conversions nur mäßig, und jedes Modell in der A/B-Evidenz war ein Gewinner.

Das EGR-Paper, über das wir im August berichtet haben, beschrieb einen Retriever. Dieses hier, das nächsten Monat auf der CIKM vorgestellt wird, beschreibt das Instrument, das solche Modelle benotet. Ein feinabgestimmtes Gemini 2.5 Flash bewertet jedes Produkt, das für Snaps Dynamic Product Ads (DPA) abgerufen wird, anhand von Intent-Gruppen, die aus Produktansichten, Warenkorb-Ablagen und Käufen der Nutzer gebildet werden. Zalando berichtete 2024, dass sein Such-Judge eine Genauigkeit auf dem Niveau menschlicher Annotatoren erreichte, bei bis zu 1.000-mal geringeren Kosten als menschliche Arbeit. Snap nennt ebenfalls ein von Menschen geprüftes Set (F1 0,869), stützt seine Argumentation aber auf Online-Geschäftskennzahlen, „auf dem kritischen Pfad der Launch-Entscheidung“.

Nimmt man zwei Ausreißer-Quellen heraus, verschwindet die Korrelation fast vollständig. Tabelle 1 vergleicht sechs Quellen: eine Retargeting-Quelle aus dem eigenen Engagement-Log der Nutzer, ein kollaboratives „Similar User“-Modell sowie Popularitäts-, inhaltsbasiertes, engagementbasiertes und zufälliges Retrieval. Die ersten beiden liegen bei Conversion Precision und Judge-Score weit über dem Rest und halten damit die angepasste Gerade fest. Nach unserer Rechnung beträgt dieselbe Korrelation über die übrigen vier 0,13. Vier Punkte beweisen in keine Richtung viel, aber sie zeigen, dass die 0,97 von den zwei Quellen abhängen.

Die Retargeting-Quelle gewinnt bei Conversion Precision und Judge-Score fast zwangsläufig. Die Conversion Precision zählt einen Treffer nur, wenn ein abgerufenes Produkt innerhalb eines Tages nach der Impression „identisch mit dem konvertierten Artikel“ ist. Das Paper nennt die Precision dieser Quelle „konstruktionsbedingt hoch“. Der Judge bewertet gegen Intents, die aus der Engagement-Historie gebildet werden. Ein Produkt, das der Nutzer gerade angesehen hat, dürfte also sein leichtestes „Exact“-Urteil sein. Die Übereinstimmung hier ist die Übereinstimmung darüber, dass Retargeting funktioniert. Dafür brauchte kein Performance-Marketer ein Sprachmodell.

Auf Tagesebene ist die Übereinstimmung schwächer. Tag für Tag über einen Monat gemessen, mit Datum-Quelle-Paaren aus zwei Retrieval-Quellen gepoolt, korreliert der Relevanz-Score unter Produktionseinstellungen mit 0,35 mit der Conversion Precision. Die Analyse nutzt Labels des größeren Teacher-Modells Gemini 2.5 Pro, nicht des eingesetzten Flash. Das Bootstrap-Intervall reicht von 0,04 bis 0,63.

Die Historie jedes Nutzers auf den letzten Tag zu kürzen, verändert die Korrelationen kaum. Laut Paper „halbiert“ dieser Schnitt die Güte der Intent-Mengen, doch die Verschiebung beträgt höchstens 0,06. Die Autoren sagen, das Geschäftssignal sei „in einem kleinen, jüngsten Ausschnitt des Engagements konzentriert“. Das ist die Prämisse des Retargetings.

Online behauptet das Paper nur eine „richtungsmäßige Übereinstimmung“ über vier A/B-Tests, und alle vier waren Siege. Jedes neue Content- oder Engagement-Modell hob den Score des Judge und schlug dann seinen Vorgänger bei Klick- und Conversion-Raten, jeweils signifikant. Ein Gate verdient sich seinen Platz, indem es ein Modell stoppt, das verlieren würde, und das Paper zeigt keinen solchen Fall. Ein Score, der für jedes neue Modell gestiegen wäre, hätte denselben Test bestanden.

Über die beiden Modellfamilien hinweg passen die Größen dieser Siege nicht zum MicroRel-Score des Judge. Das erste Engagement-Modell erzielte 0,068 gegenüber 0,138 beim ersten Content-Modell, also den halben Offline-Zuwachs, lieferte aber einen Klickraten-Gewinn von 0,350 % gegenüber 0,149 %. Bei MicroRel entspricht die Reihenfolge innerhalb jeder Familie den Live-Ergebnissen. Das Paper räumt „relativ schwache Korrelationen“ für engagementbasiertes Retrieval ein. Der Judge ist also bei der Familie am schwächsten, die am stärksten auf Conversions getrimmt ist.

Ein Snap-Paper vom Juli fand einen anderen LLM-Judge, der Systeme entgegengesetzt zu einer Kaufkennzahl einordnete. SMART, das neun dieser zwölf Autoren teilt (einer erscheint unter einem anderen Vornamen), nutzte Gemini 3 Flash, um „Prospecting“ zu bewerten. Neben einer Kauf-Recall-Kennzahl auf Kategorieebene ergab das „entgegengesetzte Rangfolgen für dieselben Systeme“. Die SMART-Autoren entwarfen die beiden Kennzahlen für unterschiedliche Ziele und werten die Umkehrung als Bestätigung. Neben diesem Paper gelesen, legt sie nahe: Ein LLM-Relevanz-Score stimmt mit Kaufkennzahlen überein, wenn Retargeting die Systeme trennt, und geht auseinander, wenn Discovery es tut.

Ein Snap-Agent schrieb die Regeln des Judge und übersah Demografie. Er behielt nur Regeln, die die Genauigkeit signifikant hoben, und fand sieben der zwölf Gründe in Snaps redaktioneller Richtlinie, darunter Größe und Farbe, aber nicht Geschlecht oder Alter. Menschliche Redakteure stuften demografische Abweichung von einem „Substitute-leaning signal“ zu einer harten „Irrelevant“-Übersteuerung hoch, eine Regel, die die Schleife „wiederholt herabgestuft hatte, weil demografische Abweichungspaare im Kalibrierungsset statistisch selten sind“. In der Bekleidung ist dieses seltene Paar etwa eine Herrenjacke, die einer Damenmode-Käuferin gezeigt wird.

Die Validierung des Gates teilt diesen blinden Fleck: Sechs Quellen und vier siegreiche Tests zeigen nie, dass es auf ein Modell trifft, das offline besser aussieht und online verliert.

Der stärkste Einwand lautet, der Judge siebe nur vor, und der A/B-Test entscheide weiterhin. Wenn jedes Modell, das er durchlässt, einen Live-Test durchläuft, kostet ein falsches Bestehen einen Testplatz statt Umsatz. Seine beste Korrelation auf Tagesebene, 0,50 mit der Conversion Rate, ist vor einem kostenpflichtigen A/B-Test durchaus nützlich, denn herkömmliche Offline-Kennzahlen leiden unter „spärlichem, verzerrtem Feedback“. Der Einwand gilt nur, wenn Snap auch einige Modelle testet, die der Judge abwertet, und das Paper berichtet von keinen solchen Tests.

Die Zusammenfassung verspricht eine „schnellere und verlässlichere DPA-Retrieval-Iteration vor dem A/B-Test“, und das Fazit nennt die Kennzahl „das Offline-Gate für die DPA-Modellbewertung vor dem Online-Einsatz“. Eine Messung der Modelle, die das Gate zu Unrecht abweist, enthält es nicht.

Die Kosten tragen vermutlich die Katalogwerbetreibenden, weil ihre Produkte die Käufer über jedes Modell erreichen, das das Gate passiert. Wenn Snap den Judge weiter darauf trimmt, Conversions zu folgen, würde das Gate Retrieval belohnen, das Retargeting ähnelt, statt Modelle, die Käufern etwas Neues zeigen. Snap könnte das klären, indem es die Urteile des Judge zu Modellen veröffentlicht, die in Live-Tests verloren haben. Händler können „korreliert stark“ auf Treu und Glauben hinnehmen oder Snap bitten, das Gate einmal einen Verlierer stoppen zu lassen.