Muse a perdu eBay. Son fichier robots laisse désormais ChatGPT et Claude chercher.
Muse, l'assistant de Meta, a perdu l'accès à eBay le week-end dernier, selon The Verge, apparemment à cause d'un blocage que le fichier robots d'eBay ne mentionne jamais. Ce fichier autorise quatre robots d'OpenAI et d'Anthropic à lancer des recherches par mot-clé et par catégorie, qu'il refuse à Googlebot et aux robots laissés aux règles par défaut.

Sir John Crabstone
Le fichier robots d’eBay a ses favoris. Il autorise quatre robots d’OpenAI et d’Anthropic à lancer sur eBay des recherches par mot-clé et par catégorie, qu’il refuse à Googlebot et à tout robot laissé aux règles par défaut. Muse, l’assistant de Meta, a été arrêté le week-end dernier par ce que The Verge décrit comme un apparent blocage d’eBay, que le fichier ne mentionne nulle part.
Un lecteur utilisait Muse depuis des semaines pour composer un condensé quotidien des montres mises en vente sur des sites comme eBay, rapporte The Verge. Ce week-end, Muse a indiqué être bloqué. The Verge a reproduit l’expérience avec d’autres requêtes de recherche, et dans certains cas Muse a renvoyé les utilisateurs vers des sites qui reprennent les annonces d’eBay en miroir.
Le fichier, daté d’août, interdit à dix robots « LLM / AI » presque tout accès, parmi lesquels GPTBot, ClaudeBot et meta-externalagent, la seule entrée de Meta. OAI-SearchBot, ChatGPT-User, Claude-SearchBot et Claude-User se voient appliquer à peu près les règles par défaut, avec la recherche /sch/ d’eBay ouverte. Googlebot et les robots non nommés ne peuvent récupérer /sch/ que lorsque les URL comportent des motifs tels que _trksid ou mkcid=2 ; les recherches par mot-clé simples sont interdites.
Aucun des quatre n’est nommé dans la version que la Wayback Machine a archivée le 15 mai, date à laquelle le robot de récupération de ChatGPT se voyait appliquer l’interdiction par défaut de /sch/. Cette faveur date de cette année.
La documentation des robots d’exploration de Meta indique que meta-externalagent explore le web pour des usages « tels que l’entraînement de modèles d’IA de fondation ». Meta-ExternalFetcher, qui récupère des liens « à la demande d’un utilisateur », n’est pas nommé par eBay ; Meta précise qu’il « peut ignorer les règles du fichier robots.txt ». La page ne nomme aucun robot pour Muse.
Lorsqu’Amazon a bloqué Muse en septembre, GeekWire a rapporté son grief : l’agent « ne s’identifie pas lorsqu’il navigue ». Faute d’API, indiquent les documents de lancement de Meta, cités par GeekWire, Muse « peut utiliser le service via un navigateur comme vous le feriez ».
Si Muse navigue comme une personne, il ne peut être ni refusé comme un robot, ni favorisé comme tel.
La piste la plus probable est un filtrage anti-robots, qu’eBay ne décrit pas. The RealReal a elle aussi répondu à Muse par une défense anti-robots en octobre, tout en laissant son délai de réservation de 20 minutes tel qu’écrit.
Ce qu’eBay publie, c’est une interdiction. Son contrat d’utilisation proscrit tout robot ou outil d’extraction utilisé « pour accéder à nos Services à quelque fin que ce soit, sauf autorisation expresse préalable d’eBay », y compris les « agents d’achat pour compte d’autrui, robots pilotés par des LLM ». Le fichier robots s’ouvre sur une interdiction similaire, n’autorisant l’accès automatisé que « dans le seul but limité d’inclure du contenu dans des moteurs de recherche accessibles au public » ; les lignes Allow des quatre robots figurent sous cet en-tête.
eBay adopte « une approche sélective », a déclaré à The Verge sa porte-parole Sybille St. Arromand. L’entreprise a « restreint l’accès des agents dans certains cas, notamment l’extraction non autorisée et l’entraînement sur nos données », tout en menant « des discussions en cours avec des partenaires potentiels ». Quant à savoir si ces limites étaient nouvelles, St. Arromand n’a pas voulu le dire. La déclaration ne mentionne pas les quatre robots, et Meta a refusé de commenter.
The Verge place eBay aux côtés d’Amazon, qui bloque entièrement les agents extérieurs, de Target, qui les bloque en partie, et de Shopify, qui ouvre son catalogue. Son titre affirme qu’eBay « semble avoir fermé la porte aux agents IA tiers ». The Verge n’en a testé qu’un.
Là où des entreprises comptabilisent les commandes passées par des agents extérieurs, le chiffre est faible. Celui d’Uber était d’environ 500 commandes Uber Eats la semaine d’Halloween.
eBay a déjà traité avec Meta. Son projet pilote sur Facebook Marketplace, annoncé en janvier 2025, y a placé « une sélection d’annonces eBay », en renvoyant les acheteurs « vers eBay pour finaliser leur achat » sous couvert de sa garantie de remboursement. On ignore si les sites miroirs trouvés par Muse font de même. Sur Marketplace, les annonces d’eBay étaient publiées aux conditions d’eBay ; rien n’indique que celles des miroirs l’étaient.