Agentic Commerce

Shopping-Agenten beschrieben ihre Wahl in 51,4 % der Läufe falsch. Diese Läufe waren der Testsatz des Detektors.

Ein Paper der Florida State University besagt, Shopping-Agenten hätten dem gewählten Produkt in 51,4 % der Läufe unbelegte Eigenschaften zugeschrieben, und die Korrektur der Autoren habe die Rate auf 6,2 % gesenkt. Die Zahl stammt aus dem zurückgehaltenen Testsatz für den Fehlerdetektor der Autoren, nicht aus einer Stichprobe echten Agentenverkehrs. Belastbar bleibt: Auch Läufe, die die Aufgabe bestehen, tragen den Fehler, und auf diesem Testsatz gewinnen die meisten Korrekturen an Genauigkeit, indem sie Aussagen streichen, während eine schlichte Kopier-Baseline die Hauptmethode einholte.

A small shop-assistant robot at a clothing rail pins a fibre-content label, visibly cut from a neighbouring navy coat, onto a camel coat, while a nautilus in spectacles watches from behind a till with a clipboard.

Neritus Vale

Shopping-Agenten können ein einziges Produkt auswählen und ihm Fakten zuschreiben, die es nicht hat. Ein am 12. Oktober auf arXiv veröffentlichtes Paper sagt, das sei in 51,4 % der Shopping-Läufe passiert, und die Korrektur der Autoren habe die Rate auf 6,2 % gesenkt. Diese Schlagzeile beschreibt den Testsatz für den Fehlerdetektor des Papers, nicht eine Stichprobe echten Agentenverkehrs. Was bleibt, ist enger: Agenten, die ihre Aufgaben bestehen, machen den Fehler trotzdem, und auf diesem Testsatz erkaufen die meisten Korrekturen ihre Genauigkeit damit, dass sie weniger sagen.

Die erste Abbildung des Papers zeigt den Fehler im Kleinen. Gesucht sind Noise-Cancelling-Kopfhörer unter 300 US-Dollar mit hoher Bewertung. Der Agent empfiehlt Produkt A und schreibt ihm die Bewertung von 4,8 eines Konkurrenzmodells sowie die 30 Stunden Akkulaufzeit eines dritten Paars zu. Die Autoren der Florida State University nennen das Phantom Merge und unterscheiden drei Formen: einen von einem anderen Produkt geliehenen Wert, die eigene Anforderung der Käuferin oder des Käufers, die als Produktfakt wiederholt wird, und eine Behauptung, die der Produktseite des gewählten Artikels widerspricht.

Die Zahl aus dem Abstract ist die Ausgangsfehlerrate des zurückgehaltenen Testsatzes des Detektors, der 156 Aussagen als Fehler und 118 als korrekt kennzeichnet. Dass die 51,4 % zu diesem Satz gehören, steht nirgends im Text, doch seine Größe reproduziert jede Rate in den Mitigationstabellen, die auf denselben Aussagen laufen.

Die Prävalenztabelle zeigt diese Zahl nie. Ihre Shopping-Zeilen reichen von 26,8 % bis 46,8 % in einer Kohorte, die der Text „PM-enriched“ nennt. Ein Anhang sagt, diese Läufe seien „selected to emphasize multi-entity scenarios“ worden und die Schätzungen „describe the constructed cohort“. Der Artefakt-Leitfaden des Repositorys führt Tabelle 1 mit den vier Backbones als „pending export / missing“.

Wo die Autoren die Aufgabenverteilung jeder Domäne gezogen haben, nämlich über drei Kundenservice-Domänen von Sierras τ³-Bench und vier Modelle, lag die Rate zwischen 0,4 % für Gemma im Retail-Bereich und 54,1 % für Qwen im Telekom-Bereich. Retail ist ein simulierter Support-Desk für einen Onlineshop, der Stornierungen, Rücksendungen, Umtausche und Adressänderungen bearbeitet, statt Produkte zu empfehlen. Seine Ergebnisse sagen wenig über einen Agenten, der zwischen drei Mänteln wählt.

In der angereicherten Shopping-Kohorte besteht der häufigste Fehler darin, dass der Agent die Wünsche der Kundschaft als Fakten zurückspielt. Wiederholte Anforderungen machen dort je nach Modell 63,3–96,4 % der fehlerhaften Aussagen aus; die Anteile beschreiben also die Zusammensetzung der Fehler, nicht ihre Häufigkeit. Die Modeversion ist leicht vorstellbar: Bei der Suche nach einem maschinenwaschbaren Wollpullover kann ein Agent, dessen Produktseite zum Waschen schweigt, den Pullover trotzdem für maschinenwaschbar erklären. Die Käuferin liest dann einen Produktfakt, den keine Produktseite enthält.

Agenten, die ihre Aufgaben bestehen, machen den Fehler dennoch, was auch immer die wahre Rate ist. In der angereicherten Shopping-Kohorte enthielten 29,6–55,6 % der aufgabenkorrekten Läufe eine falsch zugeordnete Aussage, und bei jedem Modell lag dieser Anteil über der Gesamtrate der Kohorte. In den übrigen Domänen reicht derselbe Anteil von 0,0 % bis 32,0 %; den oberen Wert erreichen Mixtrals korrekte Airline-Läufe. Ein Abschlusswert zählt jeden dieser Läufe als bestanden.

Die meisten der im Paper getesteten Korrekturen kaufen Genauigkeit, indem sie weniger sagen. In den vollständigen Shopping-Ergebnissen liefert die Adaption von RARR durch die Autoren, eine veröffentlichte Methode zur Überarbeitung unbelegter Texte, Antworten mit nur 4,1 % so vielen Aussagen wie die Originale und 0,0 % Restfehler. Für Käuferinnen und Käufer ist das kaum noch eine Antwort. Die Autoren selbst halten fest, dass Konfidenzintervalle bei null Ereignissen „do not establish zero population risk“.

Nach dieser Kennzahl gewinnt die kürzeste Antwort.

Die eigene Methode des Papers zahlt einen kleineren Preis derselben Art. In einem Test, der nur den Detektor austauscht, lassen die beiden stärksten Detektoren 95–96 % der Antworten fehlerfrei, behalten aber nur 62–63 % der Aussagen, die von vornherein korrekt waren.

Die Korrektur der Autoren streicht dennoch weniger als die Konkurrenz. Bei 5,3 % Restfehler abgeglichen, behält sie 59,3 % der Ausgabeaussagen, gegenüber 35,8 % bei der Alternative FAD und 37,0 % bei RARR.

Die schlichteste Baseline des Papers holt die Schlagzeile ein. Die Autoren haben diese Constrained-Copy-Methode selbst geschrieben; sie ersetzt einen markierten Wert durch den zum gewählten Produkt gespeicherten. Im Setting des Abstracts landet sie bei 5,8 %, innerhalb der Konfidenzintervalle gleichauf mit der Methode des Papers, und ihre Antworten enthalten mehr Aussagen als die Originale, ein Verhältnis, das der Artefakt-Leitfaden als „still under audit“ bezeichnet. Erhalten alle Methoden dieselben markierten Aussagen, fällt die Kopier-Baseline mit 10,7 % zurück, weil sie eine Aussage nur reparieren kann, wenn der Produktdatensatz einen Wert zum Kopieren enthält.

Die stärkste Verteidigung der Schlagzeile lautet, dass echtes Shopping der angereicherten Kohorte ähnelt. Agenten verdienen ihr Geld mit dem Vergleich mehrerer Produkte, und genau dort entstehen geliehene Fakten. Sähe der Live-Verkehr aus wie eine Kohorte, die für Multi-Produkt-Szenarien ausgewählt wurde, enthielte fast die Hälfte der Shopping-Antworten einen Fehler, und die Schlagzeile wäre eine faire Zusammenfassung.

Nichts im Paper prüft, ob echtes Shopping so aussieht. Die Schlagzeile stammt aus dem Testsatz eines Detektors, die Prävalenztabelle aus einer für Vergleiche ausgewählten Kohorte, und die nicht ausgewählten Läufe aus simulierten Kundenservice-Aufgaben, die ein OpenAI-Modell gelabelt hat, wobei Menschen 50 Trajektorien je Modell-Domänen-Kohorte prüften. Keine davon bildet ab, was Kundinnen und Kunden einen Live-Agenten fragen, deshalb ist die Rate, mit der ein Händler planen sollte, unbekannt. Der Befund zu bestandenen Läufen hängt von dieser Rate nicht ab.

Der Detektor setzt außerdem voraus, was viele Händler nie besitzen werden: das Innenleben des Modells. Der Detektor des Papers liest den verborgenen Zustand des Agenten unmittelbar vor dem Schreiben jeder Aussage, also kann ihn nur nutzen, wer das Modell betreibt.

Der Hebel, den ein Händler tatsächlich in der Hand hält, ist die Produktseite. Die Korrektur des Papers überarbeitet eine markierte Aussage anhand der Belege des gewählten Produkts oder entfernt sie, wenn es keinen belegten Ersatz gibt. Fehlt auf der Produktseite ein Attribut, nach dem Käuferinnen und Käufer fragen, hat die Korrektur keinen Beleg zum Überarbeiten und kann die Aussage nur streichen, während der unkorrigierte Agent eine erfinden mag. Beurteilen Händler Agenten allein nach dem Abschluss, markiert nichts in ihren Zahlen eine solche Aussage; eine Retoure vielleicht. Die Entscheidung ist, ob die Frage einer Käuferin zum Waschen auf Schweigen trifft, auf eine Vermutung oder auf eine Zeile in der Produktbeschreibung.

Verwandte Artikel