Google montre aux boutiques comment laisser son agent esquiver le CAPTCHA. Pour lui dire non, il faut une règle de pare-feu
Le nouveau guide de Google explique aux sites qui veulent accueillir Google-Agent comment le vérifier et lui épargner les défis anti-bots jusqu'au panier. L'agent ignore généralement le robots.txt : une boutique qui veut le tenir à l'écart doit donc le refuser dans son pare-feu, et c'est à chaque boutique de décider si elle l'admet.

Sir John Crabstone
Google-Agent ignore généralement le robots.txt : une boutique qui veut le tenir à l’écart doit donc le refuser dans son pare-feu. C’est la lecture que propose le compte rendu de Hello Partner du guide que le journal des modifications de Google date du 17 novembre. Le guide détaille comment vérifier l’agent ; décider ou non de l’admettre revient à chaque boutique.
Google range Google-Agent parmi ses fetchers déclenchés par l’utilisateur. Ce nom désigne des agents exécutés sur ses serveurs pour « naviguer sur le web et effectuer des actions à la demande de l’utilisateur ». Ces fetchers « ignorent généralement les règles du robots.txt », explique Google, puisqu’une personne a demandé la récupération ; selon cette logique, la demande d’une personne l’emporte d’ordinaire sur l’avis de la boutique.
Le guide propose trois tests pour établir l’identité de l’agent : un en-tête User-Agent contenant « Google-Agent », une adresse figurant sur la liste publiée par Google et, lorsqu’elle existe, une signature sur la requête. Google indique expérimenter la signature. Vient ensuite la consigne qui compte : « Pour les requêtes vérifiées, ignorez les défis anti-bots. »
Si l’agent reste bloqué, la liste de dépannage précise que sa règle d’autorisation doit passer avant les blocages de centres de données, les règles gérées anti-bots et les « politiques de blocage des agents IA par catégorie ». L’agent doit aussi passer outre les CAPTCHA intégrés aux pages et être couvert sur la recherche, les filtres, l’ajout au panier et les API sous-jacentes. Comme « les requêtes simultanées de plusieurs utilisateurs partagent le même pool de sortie », les limites de débit par IP doivent laisser de la place aux adresses de Google.
Certains des plus grands sites du web refusent l’agent dans un fichier qu’il ignore généralement. Au 20 novembre, Known Agents, un annuaire de bots qui vend aussi du blocage de bots, constate que 7 % des 1 000 premiers sites qu’il analyse chaque jour bloquent Google-Agent dans leur robots.txt ; l’échantillon ne se limite pas aux boutiques. Il conseille à la plupart des sites de ne pas bloquer l’agent et note qu’« une règle disallow ne fait que communiquer votre préférence ».
Hello Partner décrit correctement la mécanique. « Le point de contrôle, c’est le pare-feu, pas le robots.txt », écrit-il. Face à un agent qui donne son nom, c’est dans le pare-feu qu’une boutique fait son choix.
Un autre test portait sur un agent différent. Dans le test d’i22 sur 50 des plus grandes boutiques en ligne d’Allemagne, que nous avons relayé le 20 novembre, l’agent était Claude in Chrome dans un profil de navigateur ordinaire, et non Google-Agent. i22, un cabinet de conseil qui vend des services de préparation aux agents, a constaté qu’il était rarement arrêté comme bot.
La protection anti-bots est intervenue dans 5 des 147 essais, indique l’étude d’i22. L’étude ajoute que personne, de l’extérieur, ne peut dire si les boutiques admettent ces agents délibérément ou si leur protection anti-bots les laisse passer. Les deux chiffres mesurent des choses différentes : des règles robots.txt sur les 1 000 premiers sites, et des arrêts par la protection anti-bots dans 50 boutiques allemandes.
Google-Agent donne son nom dans chaque requête et arrive depuis des adresses que Google publie. Le nom seul prouve peu, puisque Known Agents relève que n’importe quel bot peut le revendiquer ; c’est donc la liste d’adresses qui fait la vérification. Les deux mêmes signaux servent à une boutique qui veut refuser l’agent.
La liste de fetchers de Google ne nomme plus aucun produit qui envoie l’agent. Une copie archivée du 9 juillet de sa fiche donnait un exemple, Project Mariner ; la page actuelle n’en donne aucun. Une boutique qui admet l’agent ne sait pas à quel service de Google elle a affaire.
Le journal des modifications de Google dit que le guide existe pour « aider les éditeurs qui souhaitent activer Google-Agent ». Sur la façon de refuser l’agent, le guide ne dit rien.
La liste de dépannage du guide compte six vérifications ; la septième, celle de savoir s’il faut seulement vouloir de l’agent, Google la laisse à la boutique.