Research & Trends

Optimisés pour le top dix, les recommandeurs ont perdu du terrain dans les centaines de candidats qu'ils transmettent aux rankers

Dans un preprint de HKUST et Trip.com, l'apprentissage par renforcement a affiné les premiers résultats des recommandeurs génératifs sur quatre des cinq jeux de données d'avis Amazon, mais a réduit le rappel à 500 sur les cinq, dans les centaines de candidats que ces modèles transmettent aux rankers. Les auteurs attribuent la perte à une récompense qui traite comme faux tout article échantillonné autre que celui consigné ; un terme correctif a largement rétabli le rappel hors ligne. Aucun système déployé ni aucune catégorie de vêtements n'a été testé.

A long paper list unrolls down a library ladder; its top entries are gilded, lower rows have gaps where cards were snipped out, a black ink cartridge tumbles from one gap, and a nautilus with a ruler measures far down the list while two near-identical pairs of jeans hang untouched on a hook.

Neritus Vale

Les recommandeurs génératifs reçoivent désormais couramment une dernière phase d’apprentissage par renforcement, évaluée surtout en haut de la liste. Un preprint de HKUST et de Trip.com Group, publié le 17 novembre, regarde plus bas, parmi les centaines de candidats que ces modèles transmettent aux rankers. Les auteurs affirment que le RL a laissé le modèle « meilleur ranker et moins bon retriever » sur les cinq jeux de données d’avis Amazon. Leurs tableaux montrent le gain dans le top dix sur quatre des cinq jeux et la perte à 500 sur tous.

Après le fine-tuning supervisé (SFT), l’étape de RL tire 16 candidats par historique d’utilisateur ; lorsque le prochain article consigné figure parmi eux, elle le récompense et repousse les autres. Tous les résultats proviennent d’un seul modèle, Qwen2.5-1.5B, entraîné avec une seule recette GRPO. Dans les résultats de l’article, hit@K désigne la part des utilisateurs de test dont le prochain article se classe parmi les K premiers, en pourcentage ; les variations sont en points. Sur Sports, hit@10 a reculé de 0,18 point ; seul hit@5 a progressé (+0,20).

Jeu de données hit@10, SFT → RL hit@500, SFT → RL hit@500 avec correctif
Office 15,97 → 16,41 (+0,44) 52,84 → 47,69 (−5,14) 52,14
Industrial 13,19 → 13,70 (+0,51) 53,23 → 51,72 (−1,51) 53,63
Beauty 4,80 → 5,27 (+0,47) 37,16 → 36,67 (−0,49) 37,39
Toys 5,00 → 5,50 (+0,50) 35,18 → 35,14 (−0,04) 35,60
Sports 3,70 → 3,52 (−0,18) 29,88 → 29,21 (−0,67) 30,11

Le gain se situe en haut, la perte en dessous. Sur Office, le gain se transforme en perte vers le 20e résultat, et sur Industrial vers le 50e. Les deux seuils sont plus bas que n’importe quelle liste de production recensée dans l’article.

Un total quasi stable peut masquer un remaniement. Toys a à peine bougé à la coupe la plus profonde, mais sur chaque jeu de données, au moins 14 % des cibles que le modèle SFT y classait en sont sorties après le RL, tandis que celles d’autres utilisateurs y entraient. Cela change l’identité des prochains articles qui atteindraient un ranker.

Les auteurs font remonter la perte au label. Avec un seul prochain article consigné par utilisateur, la récompense traite tout autre candidat échantillonné comme faux, alors qu’il s’agit souvent des « prochains articles d’autres utilisateurs aux historiques similaires ». Dans l’exemple de l’article, de l’encre noire échantillonnée à côté de l’encre couleur d’un utilisateur est pénalisée, puis, via le réseau partagé, chute dans le classement d’un utilisateur similaire qui l’avait choisie ensuite.

Une récompense qui ne connaît que la réponse consignée compte comme une erreur toute autre réponse plausible échantillonnée à ses côtés.

Les ablations vont dans le même sens. Sur Office et Industrial, dans des essais uniques avec un modèle de référence synchronisé, supprimer les pénalités a supprimé à la fois la perte et le gain. Dans un essai unique sur Office, les utilisateurs dont le prochain article aurait subi les pénalités les plus lourdes ont perdu 23,4 points à la coupe la plus profonde.

Les tests publiés de l’étape de RL se concentrent surtout là où se trouve le gain. OneSearch-V2 de Kuaishou, relève l’article, compare ses modèles avec et sans RL sur les dix premiers résultats. Sur les modèles de l’article lui-même, le contrôle standard « voit le gain et rien de la perte ».

Les listes industrielles vont bien plus loin. Le panorama de l’article donne le post-entraînement et le nombre de candidats par requête de ces systèmes ; ceux de Kuaishou sont des générateurs de bout en bout, également utilisés comme retrieval pour un modèle de récompense. Aucun n’a été testé dans l’étude.

Système Post-entraînement Candidats
OneRec (Kuaishou) DPO, ECPO 512
OneRec-V2 (Kuaishou) GBPO 512
OneSearch (Kuaishou) DPO 512
OneSearch-V2 (Kuaishou) GRPO 512
TSGR (Taobao) GRPO (testé, non déployé) 1 500
GrowthGR (Taobao) GRPO 1 000
EG-GRPO (Tmall) GRPO 100
GenR-PO (JD) DPO 100
PinGER (Pinterest) DPO 100
GenRec (JD) GRPO non précisé

Le rapport de Shopify, présenté ici le 9 novembre, met en évidence un problème voisin avec un autre label. Ses modèles de recherche ont été réglés sur les scores d’un juge de pertinence, par apprentissage supervisé, DPO ou GRPO, ce qui a amélioré la qualité jugée tout en réduisant le rappel d’achats dans le top dix. Les auteurs incriminent un biais d’exposition de la métrique, qui peut retrouver des « alternatives ne recevant aucun crédit au titre du rappel d’achats ». Ils ajoutent que le recul « n’établit pas si ces alternatives conduiraient à plus ou moins d’achats si elles étaient affichées ». Dans l’étude de HKUST, la récompense sanctionne les alternatives plausibles ; chez Shopify, la métrique ne peut pas les créditer.

Le correctif, l’ancrage hors rollout, ajoute un seul terme de perte. La laisse KL propre à GRPO laisse échapper les articles qui chutent, car elle n’est calculée que sur le rollout. Pour chaque prompt, l’ancrage tire 16 articles hors du rollout, voisins proches des candidats partageant leurs premiers codes d’identifiant sémantique, et maintient la politique sur l’ordre qu’en donne le modèle SFT. La dernière colonne du tableau montre dans quelle mesure le rappel revient. En haut de liste, le modèle ancré ne différait pas significativement de GRPO pour aucune graine sur aucun jeu de données, et l’article ne rapporte aucun temps d’entraînement.

Aucun des jeux n’est une catégorie de vêtements. Beauty, Toys et Sports proviennent de données d’avis Amazon que l’article attribue à McAuley et al. (2015) ; cet article-là porte sur les vêtements qui vont ensemble, et l’exemple d’alternatives de son résumé est « deux paires de jeans ». Si le mécanisme se transpose à l’habillement, les substituts que la récompense sanctionne seraient souvent ce qu’achètent des clientes et clients similaires.

L’objection la plus sérieuse tient à l’échelle. Ces catalogues sont petits : la coupe la plus profonde couvre 14 % du plus petit, et les catalogues plus grands ont perdu moins d’un point.

L’article nuance lui-même cette comparaison. Ses hyperparamètres n’ont pas été réglés pour Beauty, Toys et Sports, leurs modèles SFT sont plus faibles, et leurs rollouts ne contiennent la cible que 11 à 24 % du temps ; les pertes plus faibles peuvent donc refléter un RL non réglé plutôt que la taille du catalogue. Les récompenses de production diffèrent aussi : GR4AD-X, le générateur publicitaire de Kuaishou que nous avons présenté le 2 novembre, est récompensé par des estimations de revenu, non par un prochain article consigné. Pour que la thèse tombe, il faudrait que la pression à l’origine de la perte s’estompe à l’échelle de la production ou sous de telles récompenses.

Deux articles industriels rapportent des symptômes compatibles avec cette pression, même si HKUST les traite comme des observations isolées. PinGER de Pinterest, réglé par DPO sur les préférences de son ranker, indique que le rappel « s’effondre en quelques milliers de pas » lorsque le terme DPO agit seul. TSGR de Taobao, récompensé par les premiers choix d’un ranker, masque les récompenses de ses candidats intermédiaires pour empêcher GRPO de « supprimer à tort des candidats ambigus » qui pourraient figurer dans son top 1 000. Le GRPO simple y a ajouté 0,02 % à HR@1000 ; la version avec masquage des récompenses et augmentation DPO a ajouté environ 0,5 %, ce que les auteurs ont jugé trop marginal pour un déploiement.

Si l’effet se confirme en production, une étape de RL attachée seulement au sommet sacrifie les acheteurs du milieu de la liste au profit d’un meilleur score sur le top dix. Les auteurs recommandent que le RL soit « évalué à la profondeur à laquelle le modèle est déployé ». Choisir la profondeur à rapporter relève de l’équipe ; les acheteurs du milieu de la liste n’ont pas voix au chapitre.