Wenn KI-Agenten die Strichliste sehen, zählt früher Zufall mehr als der Song
Eine Studie von Cornell und Stanford hat das Design des Music-Lab-Experiments von 2006 mit 13 KI-Modellen wiederholt: Agenten, denen eine laufende Strichliste der Song-Empfehlungen angezeigt wurde, wichen im Schnitt vier- bis neunmal so weit von ihren Auswahlen ohne Zähler ab wie Menschen und korrigierten sich über 720 Agenten hinweg in der Regel nicht selbst. Beliebtheitszähler auf Produktseiten könnten dieselbe Schleife auslösen, sobald Agenten sie sowohl lesen als auch schreiben.

Sir John Crabstone
KI-Agenten, denen eine laufende Strichliste der Empfehlungen anderer Agenten angezeigt wird, überlassen den ersten 30 die Wahl der Hits. In den von den Autoren neu ausgewerteten Music-Lab-Daten korrigierten sich Menschen tendenziell selbst; die Agenten in der Regel nicht. Wer als Merchandiser Agenten Zähler lesen lässt, die andere Agenten geschrieben haben, überlässt das Ranking dieser Schleife.
Farnoosh Hashemi und Kollegen von Cornell und Stanford haben ihr Experiment am 22. Oktober veröffentlicht. Agenten auf Basis von 13 Modellen wählten jeweils vier von 48 neu generierten Songs aus, lasen die Texte und empfahlen oder passten. Pro Modell sahen 1.440 Agenten keine Zähler; ihre Auswahl legte die „intrinsische Attraktivität“ jedes Songs fest. Sechzehn Welten mit je 720 Agenten sahen die Strichliste; in der Hälfte davon sortierte sie zusätzlich die Liste.
Das Design folgt Music Lab, wo Salganik, Dodds und Watts 14.341 Menschen unbekannte Songs herunterladen ließen, wobei manche die früheren Entscheidungen anderer sahen. Ihr Fazit: „Die besten Songs schnitten selten schlecht ab, und die schlechtesten selten gut, aber jedes andere Ergebnis war möglich.“
Die Agenten schossen weiter über das Ziel hinaus. Über die 13 Modelle gemittelt wichen sie bei gemischter Songreihenfolge etwa neunmal so weit von der Baseline ohne Zähler ab wie Menschen. Bei nach Strichen sortierten Songs war es das Vierfache. Modelle ohne Reasoning waren von Welt zu Welt mehr als doppelt so unberechenbar wie Menschen; vier der fünf Reasoning-Modelle wichen weniger ab als jedes davon, und drei waren bei sortierten Listen weniger unberechenbar als Menschen.
Bei sortierten Listen sagten die ersten 30 Agenten jedes Modells die spätere Beliebtheit besser voraus als die intrinsische Attraktivität. Bei Googles Gemma 3 4B erreichte die Korrelation 0,998, gepoolt über acht Welten. Menschen zeigten bei sortierten Listen denselben Sog (0,723 gegenüber 0,557 für die Attraktivität), bei gemischten aber nicht, wo es 12 von 13 Modellen weiterhin taten.
Eine Strichliste, die von denselben Agenten gelesen wird, die sie schreiben, ist ein Gerücht mit ausgezeichneter Buchführung.
Menschen erholten sich. Die Beliebtheit bewegte sich in 15 von 16 menschlichen Welten zurück zur Attraktivität; über 720 Agenten hinweg lag die Verschiebung in den sortierten Agentenwelten im Schnitt nahe null. Reasoning-Modelle und Modelle mit höherer Intelligenz waren weniger anfällig, aber geringere Anfälligkeit, so die Autoren, „garantierte keine Selbstkorrektur“. Das Absenken der Temperatur von 1,0 auf 0,7 half den acht Modellen ohne Reasoning nicht; wenn die Agenten 12 statt vier Songs bewerten durften, sank die mittlere Abweichung dagegen von 1,19 auf 0,75.
Ihre Agenten lasen Songtexte, statt die Songs zu hören, neben anderen Abweichungen, weshalb die Autoren die menschlichen Daten als „qualitativen Maßstab“ bezeichnen. Menschen bevorzugten zudem den oberen Listenrand deutlich stärker als die meisten Modelle. Das, argumentieren sie, lasse den Abstand unter Sortierung eher unter- als überschätzt erscheinen, solange kein Experiment dies kontrolliert; das Ergebnis bei gemischten Listen berührt es nicht.
Amazon bietet Strichliste und Sortierung bereits an. Am 25. Oktober enthielten die Ergebnisse für Damen-T-Shirts Zeilen wie „10K+ bought in past month“. Ein Menü sortiert sie nach „Best Sellers“.
Mark Zuckerberg sagte Investoren am 21. Oktober, etwas zu kaufen sei „nicht nur, auf die Website des Unternehmens zu gehen; es heißt, mit dessen Agenten zu sprechen“. The Verge titelte über seinen Plan: „I’ll have my Muse call your Muse“. Sobald Agenten bei Agenten kaufen, schreiben Agenten die Strichliste, die der nächste Agent liest.
Das Audit, über das wir am 20. Oktober berichteten, bewertete eine „Bestseller“-Zeile, die ein Verkäufer einmal schreibt, und schlug Zähler aus tatsächlichen Verkäufen vor. Hier zog eine ehrliche Zählung der Empfehlungen, nach jeder Runde aktualisiert, die Agenten dennoch von dem weg, was sie allein gewählt hätten.
Die Belege sind Songs, bei denen kein Geld im Spiel ist; der Sprung zu Produkten ist unserer. Merchandiser müssen trotzdem entscheiden, ob die Zahl neben einem Produkt die Nachfrage misst oder erst erzeugt.