Research & Trends

Un recommandeur génératif ne peut pas classer un produit qu'il n'épelle jamais

Les recommandeurs à identifiants sémantiques doivent écrire le code d'un produit avant de pouvoir le scorer, et un article arXiv du 9 octobre mesure à quelle fréquence un faisceau fini l'en empêche. Sa correction score tout le catalogue et améliore la précision, mais les produits rarement notés restent oubliés et la couverture du top dix a reculé sur un jeu de données : les distributeurs devraient demander à leurs fournisseurs la couverture du catalogue par quartile de ventes.

Un nautile en manteau d'officier de marine tient une lanterne dont le faisceau étroit n'éclaire que quelques branches d'un haut meuble-arbre aux tiroirs numérotés, tandis que les tiroirs des branches sombres du bas renferment de petites étiquettes de boutiques.

Neritus Vale

Un recommandeur génératif fondé sur des identifiants sémantiques doit épeler le code d’un produit avant de pouvoir le classer, et un produit dont le faisceau n’écrit jamais le code n’est pas scoré pour ce client. Dans “Beyond Semantic IDs”, soumis à arXiv le 9 octobre, Yu Sun et huit coauteurs appellent cette limite un “plafond d’accessibilité à faisceau fini” (« finite-beam reachability ceiling ») et la mesurent. Leurs résultats montrent un plafond fixé par des choix qu’un distributeur ne voit jamais, et une correction qui améliore la précision sans élargir de façon fiable ce qui est montré aux clients.

Les identifiants sémantiques remplacent le numéro de catalogue arbitraire d’un produit par un code court dans lequel les produits similaires partagent les premiers chiffres. Sudeep Das, de DoorDash, les compare à « des codes postaux pour vos articles ». Les recommandeurs de type TIGER prédisent le prochain produit d’un client en écrivant son code un chiffre à la fois. Une recherche par faisceau (beam search) ne conserve à chaque étape que les codes partiels les plus prometteurs et écarte les autres. Un produit dont les premiers chiffres sont écartés n’est jamais écrit, si bien que le modèle ne le score jamais.

Pour un modèle entraîné et un budget de faisceau donnés, le plafond limite la fréquence à laquelle le prochain choix d’un utilisateur peut apparaître dans la liste renvoyée, même si son code est valide. Les auteurs notent qu’« une cible qui n’entre jamais dans l’ensemble de candidats ne peut pas être récupérée plus tard », et ils le disent d’un reclasseur qui ne voit que le faisceau décodé. Si des règles de merchandising s’appliquent après la récupération, la mise en avant d’une nouvelle marque n’agit que sur ce que le faisceau a renvoyé.

Sur MovieLens-1M, un jeu public de notes de films, le modèle de type TIGER des auteurs a laissé 33,3 % des films notés ensuite par les utilisateurs hors de ses listes de 100 éléments. Doubler la liste, ce qui exige un faisceau plus large, a ramené les échecs sous le quart ; les auteurs y voient « un compromis de calcul fini, et non un plafond de catalogue indépendant de l’architecture ». Le modèle continu décrit plus bas échoue dans 32,7 % des cas à 100 éléments, et le texte de l’article ne sépare pas l’exclusion par le faisceau de l’erreur de classement ordinaire. La largeur du faisceau est un poste de coût pour le fournisseur et une limite de couverture pour le distributeur.

Les échecs frappent le plus durement les produits qui ont le moins d’historique. Les auteurs calculent le taux de réussite de chaque film, puis en font la moyenne par quartile de fréquence d’entraînement. À 100 éléments et avec la graine 42, le taux de réussite du modèle à codes était de 25,8 % dans le quart des films ayant le moins de notes d’entraînement et de 68,6 % dans le quart en ayant le plus. Une autre équipe a rapporté que la plupart des cibles manquées sont élaguées « dans les deux premières étapes de décodage » ; son analyse est préliminaire et porte sur Beauty, Instruments et Yelp. Les quartiles reflètent la fréquence à laquelle un film a été noté, non sa nouveauté : la lecture mode est donc une analogie, car la première collection d’une jeune marque commencerait dans le quart des produits rarement achetés d’une place de marché.

On présente les identifiants sémantiques comme des alliés de la longue traîne. Le résumé de TIGER fait état d’une meilleure récupération pour les articles sans historique d’interaction, et le fournisseur de recommandation Shaped annonce les codes comme « bientôt disponibles », « conçus pour améliorer la généralisation sur les articles nouveaux et de longue traîne sans sacrifier la qualité globale du classement ». Sa formulation reprend de près une étude de 2023 sur le modèle de classement de YouTube.

Les autres preuves sont moins directes. Lors d’un test en ligne de 21 jours, DoorDash a constaté qu’une mise à jour du classement combinant des variables d’identifiants sémantiques et d’autres changements avait réduit de 18,1 % la popularité historique moyenne du produit en tête de son carrousel. Les études de YouTube et de DoorDash ont toutes deux injecté les codes dans un classeur qui score encore chaque candidat. TIGER revendiquait des gains sur les articles froids pour le modèle qui écrit les codes, et « Beyond Semantic IDs » ne mesure pas la précision sur les articles froids : l’affirmation reste donc non testée ici, et non réfutée.

La correction de l’article supprime l’épellation. Son modèle CQG-Single transforme l’historique d’un utilisateur en une seule requête continue et score tout l’index par rapport à elle. Il a battu la référence de type TIGER dans les sept entraînements sur les données de films, avec 55,3 % des paramètres entraînables. C’est de la récupération dense, l’approche que les décodeurs génératifs étaient censés remplacer, et les auteurs ne la présentent pas comme nouvelle.

Un produit peut être scorable et ne s’afficher chez personne.

L’objection la plus forte en rejette la faute sur les listes courtes plutôt que sur le faisceau. Pour qu’elle tienne, supprimer le faisceau devrait laisser les produits lents là où ils étaient, et sur les données de films, c’est presque ce qui s’est produit. Le modèle continu a retrouvé les choix suivants du quart inférieur dans 26,4 % des cas, à peine plus souvent que le modèle à codes, et a montré le même gradient jusqu’à 70,0 % dans le quart supérieur. Un résultat allait dans l’autre sens : à faible profondeur, le modèle à codes restait plus fort sur certains films rares, même si les auteurs indiquent que Beauty ne le reproduit pas. L’objection explique les chiffres de précision ; elle ne peut pas dire quelle coupure, le faisceau ou le classement, masque un produit donné.

La couverture n’était pas le point faible du modèle à codes. Agrégées sur les utilisateurs avec la graine 42, ses listes top 100 touchaient 97,0 % des films, 96,3 % des produits de beauté et 99,5 % des produits de sport. Le plafond joue donc client par client, et non à l’échelle du catalogue.

Supprimer le faisceau n’a pas non plus élargi de façon fiable ce que voyaient les utilisateurs. Sur les données de sport, le modèle continu était plus précis, mais ses listes top dix, agrégées sur les utilisateurs avec la graine 42, touchaient 63,1 % du catalogue contre 94,0 % pour le modèle à codes. Le texte de l’article ne mentionne que les gains de couverture sur la beauté et, plus modestement, sur les films.

La couverture dépend aussi de la façon dont les codes sont construits. Une seconde construction, plus proche de la recette TIGER d’origine, a placé 44,0 % ± 13,7 % du catalogue de beauté dans le top 100 d’au moins un utilisateur (moyenne sur trois graines), et 14,0 % ± 7,6 % du quart le moins commenté. Les auteurs précisent que cette construction se classe en dessous du TIGER de référence et que ses chiffres ne doivent pas être généralisés à un point de contrôle TIGER entièrement reproduit. Elle montre malgré tout que la couverture appartient à une construction particulière, et non à la méthode.

Le décodeur publié par Shopee va dans le même sens. UniRec, déployé sur la place de marché de Shopee, énonce parmi ses objectifs la suppression de l’effondrement des tokens et l’équilibrage du trafic entre les entrées du livre de codes, et ajoute des « pénalités de capacité pondérées par l’exposition » pour freiner un « effet Matthieu héréditaire », l’attraction vers les produits qui se vendent déjà. Si c’est ainsi qu’un système de production est réglé, un distributeur qui ne voit pas où se situent de tels réglages ne peut pas supposer que la longue traîne y survit. C’est une inférence tirée d’un seul système, et non un résultat de l’article.

L’article est le plus faible sur les deux choses qui définissent les catalogues d’habillement : la taille et la nouveauté constante. Ses trois jeux de données sont petits et publics, le plus grand comptant 12 101 produits de beauté, et l’un d’eux porte sur des films. L’évaluation est hors ligne, sans trafic de production : la dernière interaction de chaque utilisateur est masquée et le modèle doit la retrouver. Les tableaux principaux utilisent une seule graine, 42. Sur la beauté, les intervalles à 95 % des deux modèles se chevauchent, et le gain de 0,0107 en Recall@10 sur les films s’accompagne d’un intervalle de 0,0021 à 0,0193.

Les auteurs qualifient leur référence de plus faible que les systèmes publiés et disent que la latence en production, la mémoire, le coût de mise à jour de l’index et la précision sur les articles nouveaux « restent non mesurés ». Leur correction s’entraîne à chaque étape contre tout le catalogue, un coût qui croît avec le catalogue et n’a été testé qu’à ces tailles. Une variante à négatifs échantillonnés est moins chère, et les auteurs disent qu’elle conserve des performances proches de la référence de type TIGER. Une référence SASRec à classement complet a aussi obtenu de meilleurs scores que le modèle continu sur les données de sport.

L’apport utile de l’article est de scinder une question en deux. La première : à quelle fréquence le modèle retrouve-t-il ce que le client voulait ; la seconde : quelle part du catalogue montre-t-il à qui que ce soit. Les fournisseurs devraient rapporter la seconde sur le catalogue propre du distributeur, par quartile de ventes, à la longueur de liste du site et à la largeur de faisceau en production. Si un fournisseur ne sait rapporter que la première, le distributeur achète de la précision et suppose la couverture. La couverture peut, au contraire, être inscrite dans le contrat.