Die Agenten bekamen den Preis. Der Benchmark fragt, ob sie ihn halten können.
Visa Research hat den ersten dynamischen Multi-Attribut-Auktions-Benchmark für LLM-Pricing-Agenten entwickelt und dabei festgestellt, dass das beste von elf Spitzenmodellen weniger als ein Drittel des verfügbaren Gewinns behielt. Das eigentliche Versagen liegt nicht darin, Auktionen zu verlieren – sondern darin, sie zu billig zu gewinnen, was einen Pricing-Agenten zu einer durchschaubaren Gegenpartei macht.
Neritus Vale
Visa Research hat den Kompetenztest für ein Produkt veröffentlicht, das der eigene Arbeitgeber bereits verkauft. Bazaar, am 30. Juli auf arXiv veröffentlicht, setzt ein Sprachmodell auf den Verkäuferstuhl und prüft, ob es gegen sich anpassende Konkurrenten für Kunden mit unsichtbaren Präferenzen bepreisen kann. Das stärkste getestete Modell behielt 32,1 % des Gewinns, den ein Händler mit perfektem Rückblick erzielt hätte. Die Agenten scheiterten nicht daran, Abschlüsse zu erzielen – der beste von ihnen gewann die meisten Auktionen, an denen er teilnahm. Sie scheiterten daran, die Marge zu halten – ein anderer Defekt mit anderen Konsequenzen.
Was ein Händler kauft, wenn er das Pricing an einen Agenten überträgt, hängt davon ab, welchen dieser beiden Defekte er hat. Visas Intelligent-Commerce-Portfolio erlaubt es Agenten, „Produkte zu entdecken, Entscheidungen zu treffen und Teile der Kaufreise abzuschließen” über ein Netzwerk von 4,8 Milliarden Zahlungsdaten. Die Infrastruktur setzt Kompetenz voraus; Bazaar ist der erste ernsthafte Versuch, sie zu bewerten. Ein Gebot aus Konfiguration plus Preis ist zudem die natürliche Form einer Bekleidungsentscheidung – ob es sich nun um ein Großhandelsangebot mit Stoff, Lieferfenster und Mindestbestellmenge handelt oder um einen Preisnachlass mit Tiefe und Timing. Ein Agent, der sich dabei gelegentlich verschätzt, ist ein normales Geschäftsrisiko. Systematische Fehleinschätzung in eine Richtung ist kein Risiko, sondern eine Subvention – und die Gegenseite am Verhandlungstisch kassiert sie.
Der Aufbau von Bazaar macht sein Urteil erst nutzbar. Vierundzwanzig synthetische Kunden besitzen verborgene Nutzenkurven über drei Produktattribute, und in jeder Runde gibt der im Fokus stehende Händler ein einziges verdecktes Gebot ab – Konfiguration plus Preis – gegen drei spezialisierte Bots, die jeweils nur ihre eigene Spezialität anbieten und ausschließlich über den Preis konkurrieren. Der Händler sieht den Gewinner, die Gewinnkonfiguration und den Gewinnpreis, sonst nichts: keine Kundenwerte, keine Konkurrenzkosten, keine verlorenen Gebote. Da die Nutzenfunktionen in geschlossener Form vorliegen, können die Autoren exakt berechnen, was vollständiger Rückblick eingebracht hätte – das macht aus der Kennzahl einen Vergleich mit einer Obergrenze statt nur einen Eindruck. In den Runden 31 bis 40 des achtzig Runden umfassenden Spiels verschieben die Hälfte der Kunden unbemerkt das Gewicht, das sie zwei Attributen beimessen, und der Händler erhält keinerlei Hinweis darauf, dass sich etwas geändert hat.
Das entscheidende Ergebnis ist nicht die Rangliste, sondern das, was sie vorhersagt. Über das gesamte Feld hinweg korreliert der Gesamtgewinn mit der Marge pro Gewinn mit r=0,99, mit der Gewinnrate dagegen nur mit r=0,88. Geprüft wird also Zurückhaltung, nicht Aggressivität – und Agenten danach zu ranken, wie oft sie abschließen, reiht sie nach der falschen Variable ein. Ausgerechnet nach jener Variable, die die meisten Handelsdashboards eigentlich anzeigen sollen.
Diese Umkehrung zeigt sich an der Spitze der Tabelle. Gemini 3.1 Pro gewann 77,9 % seiner Auktionen gegenüber 67,8 % bei Claude Opus 4.6 – und landete beim Gewinn trotzdem dahinter. Die Autoren unterteilen die Fehlertypen des Feldes in zwei benannte Kategorien: Verlierer, die den Großteil ihres Regrets bei Auktionen einbüßen, die das Orakel gewonnen hätte, und Unterpreiser, die „die meisten Auktionen gewinnen, die sie gewinnen sollten, aber konsequent Überschuss auf dem Tisch liegen lassen”. Unterpreisung ist der aufschlussreichere Fehler, weil er in jeder Kennzahl, die ein Merchandising-Team ohnehin verfolgt, wie ein Erfolg aussieht.
Ein Unterpreiser ist kein schlechter Verhandler, sondern eher ein durchschaubarer.
{{generate: A nautilus wearing a merchant’s apron, standing at a chalked slate leaderboard in a market stall. The column headed “WINS” is crowded with tally marks; the column headed “MARGIN” is nearly empty. The nautilus holds a piece of chalk but has not written anything. Warm stall light, quiet concentration.}}
Durchschaubarkeit ist das, was eine Preisschwäche in einen Vorteil für die Konkurrenz verwandelt. Bazaars zweiter Befund: Die Agenten, die am schnellsten lernen, sind auch jene, die am schlechtesten revidieren. GPT-5.3 und Opus 4.5 gewannen vor dem Schock 46 beziehungsweise 40 Prozentpunkte an Gewinnrate hinzu, gehörten danach aber zu den schlechtesten Anpassern – sie verloren im Schnitt neunzehn Punkte und erholten sich nie. Die Reasoning-Protokolle zeigen, dass sie die Verluste innerhalb weniger Runden registrierten; was ihnen jedoch nicht gelang, war, die Hypothese aufzugeben, die bisher funktioniert hatte. „Revision, nicht Erkennung, ist der Flaschenhals bei der Anpassung nach dem Schock”, schreiben die Autoren. Eine Gegenpartei, die schnell konvergiert, sich stark festlegt und eine überholte Überzeugung verteidigt, lässt sich in einem einzigen Satz beschreiben – und alles, was sich in einem Satz beschreiben lässt, kann vom System auf der anderen Seite des Tisches modelliert werden.
Dieselben Modellgewichte erzeugten zwei verschiedene Händler, je nachdem, wie viel Denkzeit sie erhielten. GPT-5.4 mit deaktiviertem Reasoning erzielte über zehn Seeds im Schnitt 266 Dollar, dasselbe Modell mit hohem Reasoning-Aufwand 1.936 Dollar. Mehr Rechenleistung machte aus ihm einen Unterpreiser statt eines Verlierers – es lernte also, zu gewinnen, bevor es lernte, angemessen zu berechnen, und diese Reihenfolge sollte jeden beunruhigen, der einen entsprechenden Vertrag unterschreibt. Ein Käufer von agentischem Pricing beschafft sich eine Konfiguration, kein Modell – und die Benchmark-Karte des Anbieters wird die gute Konfiguration ausweisen.
Der stärkste Einwand gegen diese Lesart ist, dass Bazaar kein Markt ist. Ein Sprachmodell tritt gegen drei skriptierte Bots an, die Kunden sind synthetisch, und die Störung ist ein einzelner konstruierter Schock statt der kontinuierlichen Drift einer echten Saison; die Autoren listen jeden dieser Punkte als Einschränkung auf. Damit das Argument hier scheitert, müssten reale Konkurrenten so verrauscht sein, dass sich das Unterpreisungsmuster eines Händler-Agenten nie zu einem ausnutzbaren Muster verdichtet. Diese Bedingung trifft nicht zu, und das Design des Benchmarks selbst zeigt warum. Die Bots wurden so konstruiert, dass sie die Marge schneller anheben als abgeben – genau damit „ein Agent, der einfach einmal unterbietet”, sie nicht ausbeuten kann. Ein Gegner, der gegen triviale Ausbeutung gehärtet ist, ist ein härterer Test als ein lebender Preisfolger, kein weicherer – und die Agenten schafften trotzdem nur weniger als ein Drittel des Verfügbaren.
Die öffentliche Debatte über KI und Pricing in dieser Branche verlief bislang in die entgegengesetzte Richtung. Aayushi Badhwar von RMIT warnte in The Conversation, dass Käufer, die über einen Agenten Preisschwellen festlegen, Händlern damit möglicherweise ihren eigenen Reservationspreis offenlegen und so eine Rückkopplungsschleife zwischen Verbraucher-Tools und Handelsalgorithmen schließen. Diese Sorge ist berechtigt und betrifft eine Seite des Tisches. Bazaar misst die andere Seite und stellt fest, dass der Agent des Händlers Überschuss in die entgegengesetzte Richtung verliert – beide Parteien betreten den agentischen Handel also mit einem lesbaren Tell.
Das eigentlich nützliche Signal ist nicht der Befund, sondern die Veröffentlichung selbst. Ein Zahlungsnetzwerk hat den Vorbehalt gegenüber seiner eigenen Produktkategorie öffentlich dokumentiert, bevor seine Händler überhaupt Grund hatten, danach zu suchen – und der Vorbehalt ist konkret: Der beste getestete Agent ließ mehr als zwei Drittel des verfügbaren Gewinns ungenutzt. Händler, die Agenten ins Pricing einbinden, können das als Grund zum Abwarten lesen – oder als Spezifikation. Die Spezifikation ist die nützlichere Lesart. Messen Sie die Marge pro Gewinn statt der Abschlussrate, testen Sie den Agenten gegen eine Verschiebung, von der er nichts wusste, und kalkulieren Sie in der Annahme, dass die Gegenseite am Tisch denselben Test an Ihnen durchführt.