Die zwei stabilsten von acht KI-Shop-Assistenten bevorzugten den ersten Platz am stärksten
In einem Test der Universität Granada änderten acht Open-Weight-Modelle in der Rolle von Shop-Assistenten allesamt ihre Auswahl, sobald dieselbe Shortlist neu gemischt wurde. Das GPT-OSS-Duo von OpenAI, die beiden stabilsten Modelle und diejenigen, die sich am seltensten zu einem schlechteren Produkt verleiten ließen, vergab die meisten Empfehlungen an den ersten Platz. Auf einer kurzen Liste entschied der Platz meist Gleichstände zwischen Produkten, die ein Modell ähnlich bewertete. Das ist ein Rankingfaktor, den ein Relevanzcheck nicht erfasst und den OpenAIs Beschreibung der Produktauswahl in ChatGPT nicht erwähnt.

Neritus Vale
In einem Test der Universität Granada mit acht KI-Shop-Assistenten vergaben ausgerechnet die beiden Modelle, die ihre Wahl beim Mischen der Shortlist am seltensten änderten, die meisten Empfehlungen an den ersten Platz. OpenAIs Open-Weight-Modelle der GPT-OSS-Reihe ließen sich von der Reihenfolge nur selten zu einem klar schlechteren Produkt verleiten. Sie nutzten sie, um zwischen Produkten zu entscheiden, die sie ähnlich bewerteten. Das ist eine Positionsverzerrung, die einen Relevanzcheck besteht und trotzdem den Sieger bestimmt.
Die Studie, die Carlos Peláez-González, Francisco Herrera und Andrés Herrera-Poyatos am 27. Oktober veröffentlicht haben, baute ein verbreitetes Design für KI-Empfehlungssysteme nach. Ein Embedding-Modell holte die fünf Produkte, deren Titel am besten zu einer Anfrage passten, und ein Sprachmodell, dem gesagt wurde „You are a shop assistant“, empfahl eines davon. Jede Anfrage ging an jedes Modell, und zwar mit der Shortlist in 20 zufälligen Reihenfolgen.
Die acht Modelle waren Metas Llama 3.1 8B und 70B sowie Llama 4 Scout, OpenAIs GPT-OSS 20B und 120B und DeepSeek R1, destilliert in Modelle mit 7B, 8B und 32B Parametern. Alle sind Open-Weight; ein geschlossenes kommerzielles Modell wurde nicht getestet. Die 2.000 Anfragen wurden aus Vorlagen erzeugt, etwa nach dem Muster „Show me reputable brand fitness trackers.“
Die Produkte waren echt. Die Autoren zogen 50.000 Stichproben aus dem Katalog der Amazon ML Challenge 2023, einem Hackathon zur Vorhersage der Produktlänge, und geben an, er decke Elektronik, Kleidung, Lebensmittel und Körperpflege ab. Mode war eine von 18 Anfragekategorien, und der Query-Generator des Teams führt Sommerkleider, Jeans und Winterjacken unter seinen Produkten auf. Die Studie weist kein Ergebnis nach Kategorie aus, daher betrifft keiner ihrer Befunde speziell Bekleidung.
Alle Modelle fielen bei beiden statistischen Tests der Studie auf Positionsunabhängigkeit durch, und die Reihenfolge allein änderte die Auswahl häufig. GPT-OSS 120B wich bei einer Anfrage in 15,5 % der Mischungen von seiner häufigsten Wahl ab, dem niedrigsten Wert der Studie. An der Shortlist war sonst nichts verändert worden. DeepSeek R1 7B wich in 34,0 % der Fälle ab.
Welcher Platz profitierte, hing vom Modell ab. Bei zufälliger Reihenfolge würde ein positionsblindes Modell jedem Platz ein Fünftel seiner Empfehlungen geben; GPT-OSS 20B gab dem ersten Platz 25,4 %. Auch Llama 3.1 70B neigte mit 23,0 % zum ersten Platz, die Gewohnheit ist also nicht allein OpenAIs, auch wenn das GPT-OSS-Duo vorn lag. Llama 4 Scout mied den ersten Platz, und bei längeren Listen „wächst“ seine Vorliebe für spätere Plätze „deutlich“.
Die Autoren unterscheiden zwischen weicher Verzerrung, bei der der Platz zwischen vergleichbar relevanten Produkten entscheidet, und starker Verzerrung, bei der er die Wahl zu einem deutlich weniger relevanten Produkt drängt. Die Relevanzmenge bilden sie aus den eigenen Auswahlhäufigkeiten jedes Modells; „weniger relevant“ heißt also: außerhalb dessen, was dieses Modell üblicherweise wählt. Weiche Verzerrung, so schreiben sie, „mindert die Relevanz der Empfehlung nicht, lässt aber dennoch die Sichtbarkeit vergleichbar relevanter Artikel von der Konstruktion des Prompts statt von ihrem Inhalt abhängen“.
Bei der Standard-Shortlist war die starke Verzerrung gering und nahe an der Rauschgrenze. Ihr höchster Wert im Hauptlauf lag bei 9,8 % der Empfehlungen, und zwar bei DeepSeek R1 7B; die Autoren lesen jede solche Zahl als Obergrenze. Ein erneuter Lauf mit einer festen Reihenfolge, bei dem nur die Zufälligkeit des Samplings wirkte, ergab vergleichbare Raten.
Das Mischen erhöhte die starke Verzerrung bei sechs Modellen um 0,3 bis 1,1 Punkte. Beim GPT-OSS-Duo fand der Vergleich mit fester Reihenfolge keinen signifikanten Unterschied, auch wenn die Autoren einräumen, dass er keinen ganz sauberen Vergleich zulässt, weil die feste Reihenfolge das Top-Produkt des Retrievers auf Platz 1 setzt, den diese Modelle bevorzugen. Eine zweite Kontrolle mit zufälligen Artikelbezeichnungen ergab, dass das Mischen die starke Verzerrung bei allen acht Modellen um 0,5 bis 1,3 Punkte erhöhte.
Die Autoren bezeichnen die Vorliebe des GPT-OSS-Duos für die vorderen Plätze als Tie-Breaker, der „unter vergleichbar relevanten Kandidaten als Tie-Breaker wirkt“. Verhalten sich die Modelle hinter kommerziellen Assistenten wie diese beiden, versteckt sich ihre Positionsverzerrung in der Wahl zwischen guten Antworten.
Kein Relevanzcheck kann einen Tie-Break erfassen, denn jeder Tie-Break liefert ein relevantes Produkt.
Coveos Mitteilung zur Übernahme von Anglera, die wir heute früh untersucht haben, argumentiert, Assistenten belohnten reichhaltigere Produktdaten, und führt einen Test als Beleg an. Beim Test in Granada blieben alle Titel und Beschreibungen unverändert, und die Auswahl verschob sich trotzdem. Der Inhalt entscheidet, welche Produkte im Rennen sind; unter diesen kann der Platz den Sieger bestimmen.
Längere Shortlists machten alle Modelle weniger stabil und drängten nach Maßgabe der Autoren mehr Empfehlungen aus der Menge vergleichbar relevanter Produkte hinaus. Bei 20 Kandidaten erreichte die Rate starker Verzerrung bei Llama 4 Scout 36,6 %, den höchsten Wert der Studie. Die Rauschgrenze wurde nur für die kurze Liste gemessen, wie viel davon auf die Position entfällt, ist daher unbekannt. Eine höhere Sampling-Temperatur, getestet an der kurzen Liste, änderte wenig.
Ein ungemischter Prompt gibt den ersten Platz an den Retrieval-Rang. Diese Pipeline sortiert danach, wie genau jeder Titel zur Anfrage passt, der passendste Titel steht also in der Liste wie im Prompt an erster Stelle. Ein Modell mit der Erstplatz-Gewohnheit von GPT-OSS würde diesem Titel die Gleichstände zusprechen, und er würde doppelt gewinnen: einmal, um es auf die Liste zu schaffen, und noch einmal, um sie anzuführen. Weder das Modell noch seine Gewohnheit wählt der Verkäufer aus.
Der stärkste Einwand lautet, dass nichts davon einen realen Assistenten erreichen muss. Die acht Modelle sind Open-Weight, und die Assistenten, die Kunden nutzen, laufen möglicherweise auf etwas anderem. Das Gegenmittel der Autoren, die Kandidaten vor jeder Antwort zu mischen, „verhindert ohne Zusatzkosten, dass Artikel systematisch wegen ihres Retrieval-Rangs bevorzugt werden“. Damit die These scheitert, bräuchten jene Assistenten Modelle ohne Platzpräferenz oder jedes Mal neu gemischte Listen.
Keine der beiden Bedingungen lässt sich von außen bestätigen, und die erste wirkt schon jetzt zweifelhaft. In einem Audit, über das wir am 20. Oktober berichtet haben, bevorzugten alle sieben Modelle der Kontrollgruppe, darunter GPT-4o und Claude Sonnet 4.6, bei gleichem Preis die erste von zwei identischen Produktkarten. Identische Karten sind ein perfekter Gleichstand, und der Platz entschied ihn.
Ob eine Liste gemischt wird, ist eine Designentscheidung, und OpenAI sagt nicht, wie ChatGPT sie trifft. Die Hilfeseite des Unternehmens erklärt, Produktergebnisse „sind keine Werbung“, und zählt auf, was das Modell berücksichtigt, unter anderem Preis und Beschreibungen, Anfrage und Kontext, Bewertungen sowie Modellantworten, die vor der Auswertung neuer Suchergebnisse erzeugt wurden. Zur Reihenfolge, in der die Kandidaten eintreffen, sagt sie nichts.
Das Audit ist günstig, und nur der Entwickler eines Assistenten kann es durchführen. In der Simulation der Autoren genügten meist weniger als 200 Anfragen, jeweils 20-mal gemischt, um eine Verzerrung zu erkennen, die so schwach ist wie die schwächste, die sie gemessen haben, auch wenn reale Verzerrungen womöglich mehr brauchen. Eine Marke kann den Prompt von ChatGPT nicht umsortieren; ein Händler mit eigenem Assistenten kann es. Wer den Prompt befüllt, entscheidet, ob Gewohnheit oder Mischen die Gleichstände auflöst, und das ist eine Ranking-Entscheidung, ob sie jemand aufschreibt oder nicht.