Otto peut remplacer n'importe quel modèle d'IA, sauf le routeur qui le choisit
Otto envoie chaque requête d'IA au modèle le moins cher capable de la traiter, de sorte qu'aucun fournisseur ne puisse à lui seul le débrancher. L'arrêt en juin des modèles les plus récents d'Anthropic, puis leur retour en juillet, montrent pourquoi le routeur — et les personnes qui testent les modèles pour lui — sont la partie qu'Otto ne peut pas remplacer.
Sir John Crabstone
Otto s’est organisé pour ne dépendre d’aucune entreprise d’IA en particulier, et dépend donc fortement du logiciel qui choisit parmi leurs modèles. Michael Müller-Wünsch, responsable technologie du groupe de distribution, a résumé cette politique dans un entretien accordé à TextilWirtschaft publié lundi : « Plus il y a de modèles, mieux c’est. » L’entretien s’ouvre sur un rappel du mois de juin, lorsque les clients allemands ont perdu l’accès au tout dernier modèle d’Anthropic. Chaque modèle utilisé par Otto peut être remplacé ; le routeur qui effectue ce choix, lui, ne le peut pas.
Dr. Web, un site spécialisé allemand, détaille l’architecture : un routeur se place entre les applications d’Otto et les modèles. Chaque requête est envoyée au modèle le moins cher capable de l’exécuter, qu’il vienne d’OpenAI, de Google ou d’un fournisseur européen. Si un modèle est bloqué, devient trop coûteux ou pose un problème juridique, un autre prend le relais, sans qu’aucun service n’ait à réécrire son code. L’assistant interne d’Otto, ogGPT, combine déjà plusieurs modèles. Michael Dobler, éditeur du site, le formule en allemand comme l’assurance la moins chère contre un fournisseur qui couperait le robinet pour des raisons politiques.
Le mois de juin a fourni un exemple concret de ce que cette assurance couvre. Le 12 juin, une directive américaine sur les exportations a interdit à tout ressortissant étranger l’accès à Fable 5 et Mythos 5, les modèles les plus récents d’Anthropic. Pour s’y conformer, l’entreprise a désactivé les deux modèles « pour l’ensemble de nos clients ». Ses autres modèles ont continué de fonctionner. Dans ce cas, le routeur n’a besoin d’aucune aide particulière : le modèle a disparu, la requête part ailleurs.
Le cas le plus délicat est survenu avec le retour. Les restrictions ont été levées le 30 juin, et Fable 5 est revenu dès le lendemain, désormais protégé par un nouveau classificateur de sécurité. Selon Anthropic, ce classificateur bloque dans plus de 99 % des cas le contournement de garde-fous à l’origine de la mesure, mais signale aussi plus souvent des requêtes de codage et de débogage pourtant inoffensives. Les utilisateurs sont informés lorsqu’une requête est bloquée, et celle-ci « sera alors envoyée à Opus 4.8 à la place ». Pour quiconque routait son travail vers Fable 5, le nom affiché sur la requête est resté le même ; le modèle qui y répondait, lui, a parfois changé.
Un modèle qui disparaît est le problème du routeur ; un modèle qui change discrètement est celui de son propriétaire.
Ce changement est consigné, mais seulement pour qui prend la peine de le chercher. Le guide d’Anthropic sur son basculement automatique précise qu’une fois qu’une conversation a basculé, les réponses suivantes peuvent arriver sans aucun marqueur signalant le changement. Le relevé d’utilisation, selon ce guide, est le seul moyen fiable de savoir quel modèle a réellement effectué le travail. Un routeur qui enregistre le modèle qu’il a sollicité, plutôt que celui qui a effectivement répondu, tient donc une comptabilité rigoureuse… du mauvais modèle.
Müller-Wünsch a raison : multiplier les modèles rend Otto plus difficile à débrancher ; cela rend aussi plus difficile, pour Otto, de savoir précisément ce qu’il fait tourner. Chaque modèle amène avec lui un fabricant susceptible de modifier ce qui se cache derrière son nom. Choisir le modèle le moins cher capable de faire le travail suppose donc de décider, tâche par tâche, en quoi consiste réellement ce travail — et de retester après chaque changement. Ce jugement doit rester interne à Otto ; sous-traité, il ferait revenir la dépendance par la porte d’un fournisseur. Otto a rendu ses modèles interchangeables ; les personnes capables de les distinguer les uns des autres, elles, ne le sont pas.