Une revue portant sur une seule année de recherche en apprentissage par démonstration a recensé 347 articles pertinents publiés en 2024, dont seulement 69, soit environ 20 %, apportaient des contributions notables. Ce résultat a été présenté lors d'une table ronde de l'ICRA consacrée au déluge de publications en robotique, où les chercheurs ont débattu de la manière dont le domaine peut absorber un tel volume et de ce qui doit changer dans l'évaluation par les pairs en robotique.
La présidente de la table ronde, Aude Billard, a souligné la croissance rapide observée dans les principales conférences et revues de l'IEEE Robotics and Automation Society, selon une courbe à peu près exponentielle amorcée vers 2017. Selon une estimation pour 2025, le nombre d'articles contenant le mot « robotics » serait d'environ 70 000.
Ce qu'a révélé une année de lecture
Kunpeng Yao a présenté une étude de cas financée par l'IEEE RAS Science and Technology Watch Board. L'équipe s'était donné pour objectif de lire attentivement un sous-domaine entier sur une seule année. Elle a interrogé IEEE Xplore pour y trouver les articles de 2024 sur l'apprentissage par démonstration, trié manuellement les résultats et identifié les 347 articles pertinents.
Les articles jugés notables proposaient généralement de nouvelles formulations, de nouveaux mécanismes ou des garanties théoriques. Ils se comparaient à des références de pointe solides, démontraient des gains nets en robustesse, en transfert ou en récupération après échec, introduisaient de nouvelles modalités d'enseignement ou de collecte de données, et validaient leurs affirmations sur des robots réels. Les articles étaient moins convaincants lorsqu'ils rebaptisaient des approches existantes ou ne démontraient pas ce qu'ils prétendaient.
La leçon de Yao : le caractère notable d'un travail doit se mesurer à l'état de l'art, et non au vocabulaire le plus récent. Selon la table ronde, des travaux utiles se cachent parfois dans des conférences moins en vue ou sont signés par des équipes moins visibles.
Pour Billard, la robotique ne peut pas se reposer sur une spécialisation étroite comme le font certaines disciplines. Un robot intègre perception, commande, manipulation, apprentissage, matériel, interaction, sécurité et déploiement. Si les chercheurs ne peuvent suivre que des silos étroits, le domaine perd sa capacité à relier les idées entre disciplines.
Les LLM et le problème de la fausse compréhension
Nadia Figueroa estime que les grands modèles de langage (LLM) peuvent améliorer la mécanique de la revue de littérature : recherche, extraction, regroupement thématique, tableaux, synthèses et cartes conceptuelles approximatives. Un travail qui prenait autrefois des semaines ou des mois peut parfois être réalisé en quelques heures, ce qui abaisse la barrière d'entrée pour un nouveau doctorant qui découvre un domaine.
Elle a décrit trois niveaux d'hallucination. Le premier concerne les références fausses ou erronées. Le deuxième concerne une référence réelle dont le modèle déforme le contenu. Le troisième est l'invention de points communs plausibles mais faux entre plusieurs articles. « Le danger aujourd'hui, ce ne sont pas les fausses citations », a déclaré Figueroa. « C'est la fausse compréhension. »
Une revue de littérature réalisée par un LLM peut citer de vrais articles tout en déformant l'état du domaine. Si les chercheurs délèguent non seulement la lecture, mais aussi la comparaison, le jugement et le doute, le domaine risque de produire davantage de texte tout en développant moins de compréhension.
Incitations, types d'articles et visibilité
Greg Dudek a évoqué le « salami slicing » (le saucissonnage), qui consiste à découper un ensemble de travaux en tranches aussi fines que possible, réparties entre ateliers, conférences et revues. Selon lui, le système le récompense : les étudiants ont besoin d'articles pour obtenir leur diplôme, les jeunes chercheurs pour décrocher un poste, et les comités se rabattent sur les titres, les lieux de publication, les décomptes et les indices. Il privilégie des articles moins nombreux et plus intégrés. Il a aussi affirmé qu'aucune solution ne passe par un retour à un monde plus tranquille, comparant les petites réformes procédurales à la construction de meilleurs remparts autour d'un château de sable alors qu'un tsunami approche.
Renaud Detry a expliqué qu'une partie de cette croissance reflète l'arrivée de davantage de travaux appliqués sur les systèmes dans les conférences académiques, ce qui n'est pas forcément négatif. Le problème tient à ce qu'un seul processus d'évaluation juge comme s'ils étaient du même type des algorithmes, des systèmes d'ingénierie, des benchmarks, des jeux de données et des études de validation industrielle. Il a proposé des parcours distincts pour la science fondamentale, les applications, les infrastructures, les benchmarks et la correction technique.
Dongheui Lee s'est penchée sur arXiv, les publications en open source, les pages de projet, les vidéos, les blogs et les réseaux sociaux. Ces canaux élargissent l'accès et favorisent la reproductibilité, mais la visibilité peut refléter autant le prestige institutionnel, les réseaux, la rapidité et l'autopromotion que la valeur scientifique. Elle propose de conserver l'évaluation par des experts comme filtre de qualité et d'en exploiter mieux les signaux, les comités éditoriaux et les équipes de communication mettant en avant des articles bien évalués issus de laboratoires moins célèbres.
Supprimer le gardien ?
Shigeki Sugano s'est demandé ce qui se passerait si l'on abandonnait complètement l'évaluation par les pairs. Dans son modèle, les manuscrits légitimes de robotique et d'IA seraient d'abord déposés dans une archive ouverte avec vidéos, code et données. L'évaluation par la communauté, sous identité vérifiée, se ferait publiquement, et les revues et conférences certifieraient les travaux à forte valeur plutôt que de décider de ce qui peut exister. « La question n'est pas de savoir si l'évaluation par les pairs a de la valeur », a-t-il dit. « La question est de savoir si elle doit rester la seule porte d'accès à la visibilité. »
D'autres intervenants ont cité parmi les risques le biais de popularité, la manipulation du système, les effets de réputation et l'afflux d'articles de faible qualité.
Analyse : ce que la table ronde établit, et ce qu'elle n'établit pas
Le chiffre le plus utile de la session est celui des 20 %, car il provient d'une lecture manuelle fondée sur des critères plutôt que d'une opinion. Il suggère que la difficulté tient moins au nombre total d'articles qu'au coût nécessaire pour repérer la minorité de travaux qui font avancer la frontière. Cela désigne un meilleur filtrage et des catégories d'articles plus claires comme des cibles plus réalistes qu'une réduction du volume, que Dudek lui-même jugeait improbable.
Les propositions s'articulent par ailleurs de façon inégale. Les parcours de Detry et la mise en avant par Lee des travaux bien évalués maintiennent tous deux l'évaluation par les pairs, en modifiant ce qu'elle signale. Le modèle de Sugano supprime son rôle de filtre et reporte la charge sur l'évaluation publique, précisément là où les autres intervenants voyaient un risque de biais de popularité. Le constat de Lee selon lequel la visibilité suit le prestige et l'autopromotion vaut autant pour une évaluation ouverte par la communauté que pour les réseaux sociaux.
Plusieurs points restent non démontrés. Le résultat des 20 % porte sur un seul sous-domaine et une seule année ; rien ne permet de supposer qu'il vaut pour d'autres domaines de la robotique. Le chiffre de 70 000 est une estimation du nombre d'articles contenant un seul mot, et non un décompte de contributions de recherche distinctes. Aucune des propositions n'a été accompagnée de résultats de tests, et les bénéfices des LLM décrits par Figueroa, des heures au lieu de semaines, n'ont été associés à aucun taux d'erreur mesuré pour les hallucinations de deuxième et de troisième niveau qu'elle a signalées.
L'enseignement pratique est limité mais concret. Tout outil ou toute politique visant à endiguer le déluge devrait être jugé sur sa capacité à aider les lecteurs à trouver des travaux qui dépassent l'état de l'art et se valident sur des robots réels, et non sur le nombre d'articles qu'il traite. Tant que cela n'a pas été testé, la conclusion la mieux étayée reste le constat partagé par la table ronde qu'il n'existe pas de solution simple.