AI & Technology

Chatbots belohnen Fußnoten, die sie nicht prüfen können

Kelly Pedersen von PwC sagt, Startups, die sich als „sicherste“ Marke bezeichnen, gewännen KI-Empfehlungen gegenüber vorsichtigen Platzhirschen. Zwei Studien zeigen: Im Durchschnitt bewegt selbstsicherer Ton die Engines kaum, erfundene Statistiken und Studien dagegen sehr. Werbeaufsichten wollen die Belege sehen.

A crab in a Victorian waistcoat inspects a child's bicycle tagged 'SAFEST' and a puffer jacket tagged 'WARMEST' through a magnifying glass, while a laptop chat window behind him repeats both tags with ticks and a folder marked 'TEST RESULTS' lies open and empty on the desk.

Sir John Crabstone

In einem am 1. Oktober erschienenen Glossy-Interview sagte Kelly Pedersen, Global Retail Leader bei PwC US, risikoscheue Traditionsmarken verlören KI-Empfehlungen an mutigere Startups. Ihr Beleg war ein Suchtest zu Fahrrädern für 11- und 14-Jährige, bei dem Assistenten immer wieder zwei oder drei Startups empfahlen, die sich als „sicherste“ oder „schnellste“ bezeichneten. Zwei Studien deuten auf eine andere Ursache hin: Im Durchschnitt bewegt selbstsicherer Ton die Engines kaum, während Behauptungen, die überprüfbar klingen, sie stark bewegen – gleichgültig, ob jemand sie überprüft hat. Werbeaufsichten erwarten, dass jemand es getan hat.

Der Fahrradtest stützt sich allein auf das Interview. Der Holiday Outlook von PwC, der Umfragebericht, über den Pedersen sprach, kommt zu dem Ergebnis, dass 29 % der amerikanischen Verbraucher KI für ihre Weihnachtseinkäufe nutzen wollen, nach 22 % im Vorjahr. Von Fahrrädern ist darin keine Rede. Keines der beiden Dokumente nennt die Assistenten oder die Prompts, sodass niemand außerhalb von PwC den Test wiederholen kann.

Pedersens Formel für das, was gewinnt – „autoritative, spezifische Produktaussagen“ –, verbindet zwei Eigenschaften, die die Forschung auseinandergezogen hat. Pranjal Aggarwal und Kollegen, deren KDD-2024-Paper die Generative Engine Optimization benannte, testeten überwiegend Wissensfragen; die Analogie zu einer Produktseite stammt also von uns. Eine Seite so umzuschreiben, dass sie „überzeugender und autoritativer“ klingt, brachte auf ihrer wichtigsten Test-Engine „keine signifikante Verbesserung“, auch wenn der Ton bei Debatten- und Geschichtsfragen durchaus half. Wer Statistiken oder Zitate ergänzte oder Quellen nannte, steigerte die Sichtbarkeit um 30 bis 40 % auf einem positionsbereinigten Wortzahlmaß und um 15 bis 30 % auf dem subjektiven Eindrucksmaß des Papers.

Der Zuwachs scheint vom Anschein von Belegen zu stammen. Die Prompts hinter diesen Umschreibungen verlangten Statistiken „auch wenn hypothetisch“ und Zitate „auch wenn gefälscht“. Nichts im Test prüfte, ob die Zahlen stimmten; die Engines belohnten sie trotzdem.

Eine Studie vom Juni hat den Punkt an Hautpflege getestet. Xi Chu und YuPeng Hou ließen erfundene Marken bei identischen Spezifikationen auf drei kommerziellen Modellen gegen etablierte wie CeraVe antreten. Ohne Zusätze gewann der Neuling rund 4 % der direkten Vergleiche. Zwei Sätze, die Dermatologen und eine „peer-reviewed clinical trial (n=120, p<0.01)“ anführten, hoben den Wert im Schnitt auf 73 %; Gemini lag bei nahezu 100 %, Claude bei 55 %, während Sätze über Knappheit es auf 12 % brachten. Die Studie war erfunden, und die Autoren stufen solche Aussagen als „potential false advertising“ ein. Ihr Aufbau arbeitete mit einer festen Shopper-Persona und synthetischen Hautpflege-Angeboten ohne Retrieval; jede Übertragung auf Fahrräder und Jacken stammt daher von uns.

Ein Modell erkennt, dass eine Behauptung einen Laborkittel trägt; ob es je ein Labor gab, erkennt es nicht.

Die Bekleidungsbranche weiß schon lange, was ein Superlativ verlangt. 2015 empfahl die National Advertising Division, die Selbstkontrollinstanz der US-Werbewirtschaft, Eddie Bauer, „Lightest. Warmest.“ aus der Werbung für eine Daunenjacke zu nehmen. Das Unternehmen widersprach, erklärte aber, die Anzeigen seien seit Monaten nicht mehr geschaltet worden. Beide Wörter seien „objektiv messbar“, also keine bloße Anpreisung (Puffery); für solche Aussagen brauche es in der Regel Vergleichstests gegen einen erheblichen Teil der Konkurrenzprodukte, „üblicherweise 80 %“. Aus unserer Sicht sind „sicherste“ und „schnellste“ Aussagen derselben Art.

Die britische Aufsicht hat sich KI-Agenten ausdrücklich vorgenommen. Ihre Leitlinien vom März zu KI-Agenten besagen, es spiele „keine Rolle“, ob Kunden Informationen von einem Menschen oder von einem KI-Agenten erhalten, und die CMA kann ein Unternehmen mit bis zu 10 % seines weltweiten Umsatzes bestrafen, wenn es sie in die Irre führt. Diese Leitlinien betreffen die eigenen Bots eines Unternehmens, nicht Texte, die für die Bots anderer geschrieben werden. Die Produktseite gehörte aber schon immer der Marke selbst.

Der Vorteil schwindet zudem, sobald die Konkurrenz nachzieht. In Chu und Hous simuliertem Markt blieb der Platzhirsch bei einem einzelnen Herausforderer mit Autoritätssätzen nur in 19,8 % der Durchläufe empfohlen. Setzten alle neun Herausforderer sie ein, erholte sich der Wert auf 93,8 %. Der erste Vorschlag der Autoren an die Plattformen lautet, Autoritätsbehauptungen in Produktbeschreibungen zu überprüfen. Lernen die Engines zu prüfen, verlieren Marken mit echten Testberichten womöglich wenig; der Effekt verschwindet womöglich nicht überall, denn Gemini empfahl bei allgemeiner Verbreitung den Platzhirsch weiterhin nur in 84,9 % der Durchläufe.

Verwandte Artikel