Die neuesten getesteten Modelle schrieben weiter ins Konto eines Namensvetters, bis die Suche nach einer Straße fragte
Als Forscher der Kundin eines Retail-Benchmarks einen Namensvetter mit derselben Postleitzahl zur Seite stellten, den die Suche zuerst auslieferte, schrieben 13 Agenten in 23,2 % der Gespräche ins Konto des Fremden. Auch die neuesten getesteten Claude- und GPT-Modelle schrieben dorthin, in acht von 18 Fällen nach Rückfragen zum Konto. Ein Warnhinweis half in diesem Test kaum; eine Suche, die Treffer erst nannte, wenn die Straße der Kundin stimmte, ließ Kundinnen, die ihre Straße kannten, 35 und 29 von 40 Aufgaben abschließen.

Sir John Crabstone
Bevor ein Agent eine Bestellung ändert, sagt ihm eine Suche, wessen Bestellung das ist. Als Forscher in einem Testshop einen Namensvetter vor die Kundin setzten, schrieben selbst die neuesten Claude- und GPT-Modelle, die sie ausprobierten, ins Konto des Fremden. Ein Warnhinweis half in diesem Test kaum; eine bessere Suche schon.
Der Shop mit seinen synthetischen Kundinnen und Kunden stammt aus Sierras tau-bench. Sein Werkzeug, das Kunden über Namen und Postleitzahl findet, gibt den ersten Treffer zurück – ohne ein Wort über weitere.
Keiner seiner 500 Kunden teilt sich beides, deshalb konnte keine Aufgabe den Fehler aufdecken. Die Autoren von der USC, der London Business School und der Arizona State ergänzten einen Namensvetter mit derselben Postleitzahl in den 87 Retail-Aufgaben, deren Anweisungen eine Postleitzahl, aber keine E-Mail-Adresse nennen.
Stand der Namensvetter in der Speicherreihenfolge vorn, änderten 13 Agenten auf Basis älterer Modelle in 23,2 % der Gespräche dessen Daten oder nutzten dessen Zahlungsmittel und gaben in fast allen dessen Angaben preis. Kannte die simulierte Kundin zusätzlich dessen Straße, stiegen die Schreibzugriffe auf das falsche Konto auf 25,8 %. Stand der Namensvetter an zweiter Stelle, gab es keinen solchen Schreibzugriff.
Mit den neuesten Modellen lief es nicht besser. Bei den ersten 40 Aufgaben je Modell schrieb Claude Opus 5.5 elfmal ins falsche Konto und GPT-6.1 sol siebenmal: zusammen 22,5 % gegenüber 23,2 % bei den 13. Acht der 18 Fälle folgten auf Rückfragen zum Konto. Ein Hinweis im Ergebnis der Suche, dass „Other users may also match”, ließ immer noch neun und fünf übrig.
In den anderen Tests der Studie öffneten beide Modelle jeden zweiten Datensatz, auf den ein Zähler verwies, und handelten danach nie. Für einen vertrauensvollen Agenten liest sich eine Suche, die den ersten Treffer ohne Hinweis liefert, wie „eine vollständige Liste mit einem Eintrag”.
Ein Modell kann das Konto anzweifeln, das man ihm zeigt; ein Konto, das es nie zu sehen bekommt, kann es nicht benennen.
Wurden alle Treffer aufgelistet, verschwanden die Schreibzugriffe beider Modelle auf das falsche Konto. Stattdessen verlangten sie meist eine E-Mail-Adresse, die der simulierten Kundin fehlte, und schlossen nur 2 und 9 von 40 Aufgaben ab. Die älteren Agenten kamen auf 86 solcher Schreibzugriffe in 1.131 Gesprächen und gaben häufig die Daten des Fremden preis.
Eine Straßenprüfung, die kein Konto nennt, bis die Straße der Kundin stimmt, schnitt beim Abschluss besser ab. Bei Kundinnen, die ihre Straße kannten, schlossen die beiden Modelle 35 und 29 von 40 Aufgaben ab – nahe an ihren Läufen mit nur einem Kunden (36 und 31); beim Auflisten waren es 17 und 19 gewesen.
Am 15. November berichteten wir über einen anderen Fehler: ein Sicherheits-Gate, das nur den Anfang jeder Nachricht las und dabei den Status einer Bestellung übersah. Dieses Gate sah zu wenig vom richtigen Datensatz; diese Agenten bekamen den falschen in die Hand.
Zusätzlich werteten die Autoren 418 Suchwerkzeuge aus Servern und Toolkits aus, die sie von Hand ausgewählt hatten. Etwa zwei von fünf der gedeckelten Werkzeuge aus Servern und Toolkits des Model Context Protocol geben keinen Hinweis darauf, dass es weitere Datensätze gibt. Von diesen 85 deckeln 79 bei zehn oder mehr, sodass eine Kollision zweier Datensätze weiterhin vollständig aufgelistet würde; nur vier der 418 geben allein den ersten Treffer zurück.
Der Namensvetter ist eine Konstruktion der Autoren, und jede Kundin wurde von einem Modell gespielt. Die Straßenprüfung ändert zwei Dinge auf einmal: Sie benennt das Feld, das die Kunden unterscheidet, und hält die Kandidaten zurück – die Läufe trennen die beiden Effekte nicht. Sie wurde nur mit wahrheitsgemäßen Kundinnen getestet und übergibt das Konto jedem, der die Straße kennt.
Ein Modell codierte die Auswertung; die Stichprobe von 20 Werkzeugen, die ein Autor prüfte, stimmte in 18 Fällen überein. Niemand überprüfte die Bewertung der Datenlecks von Hand.
Händler, die Retouren an Agenten übergeben, sollten fragen, ob die Suche eines Anbieters alle Treffer zurückgibt oder zuerst ein zweites Detail prüft. Sonst entscheidet, wie in der Studie, die Reihenfolge, in der eine Datenbank Kunden speichert, darüber, wessen Konto sich ändert.