Sur plus de 300 articles consacrés à l'apprentissage par démonstration publiés en 2024, environ 20 % apportent des contributions très marquantes. Les autres se limitent à des améliorations incrémentales de méthodes existantes ou à leur application à de nouveaux domaines. C'est la conclusion d'un travail de lecture mené pendant un an par cinq chercheurs seniors en robotique : Aude Billard, Renaud Detry, Nadia Figueroa, Dongheui Lee et Kunpeng Yao. Maximilian Foriest a fourni les scripts pour l'analyse par modèle de langage.
L'ampleur du problème
L'apprentissage par démonstration (ou LfD, pour « learning from demonstration ») regroupe les méthodes dans lesquelles des experts humains enseignent des tâches aux robots. Les auteurs l'ont retenu comme sous-domaine unique, car lire l'ensemble de la littérature en robotique n'est pas envisageable. Rien qu'en 2024, l'IEEE a publié 46 968 articles sur la robotique ou l'automatique, et les auteurs précisent que l'IEEE ne représente qu'une fraction de ce qui est disponible en ligne.
Les soumissions aux revues de robotique augmentent chaque année depuis dix ans. La hausse a atteint 26 % en 2023 et 31 % en 2024. Les auteurs l'attribuent à plusieurs facteurs, notamment l'intérêt croissant du public et du secteur privé, ainsi que la disponibilité d'outils d'IA qui aident à rédiger articles et code. Le nombre d'articles publiés suit la même courbe, bien que les comités éditoriaux aient abaissé les taux d'acceptation pour l'endiguer.
Les conférences affichent la même tendance. L'ICRA a doublé le nombre d'articles publiés en dix ans, pour atteindre environ 1 800 en 2024. Le délai entre soumission et publication a diminué de 50 %, ce que les auteurs relient à la pression de la communauté pour publier vite. Selon eux, l'IJRR, RSS et CoRL suivent la même évolution.
Ce que la lecture a révélé
Les cinq auteurs seniors ont lu eux-mêmes les articles et mené une analyse à la fois qualitative et quantitative. Ils ont constaté que les contributions marquantes n'étaient pas nécessairement corrélées à un nombre plus élevé de téléchargements ou de citations. Autrement dit, la visibilité d'un article ne reflétait pas de façon fiable sa valeur.
Les auteurs soutiennent qu'il est important de repérer les travaux les plus solides, pour deux raisons : cela réduit le risque que des résultats novateurs passent inaperçus, et cela limite les efforts redondants.
Les performances des outils automatisés
L'équipe a aussi testé des scripts et des grands modèles de langage (LLM) sur la même tâche. Ces outils se sont montrés assez fidèles pour l'évaluation quantitative générale, par exemple pour extraire des chiffres précis d'un article. Ils ont aussi bien résumé les travaux pris individuellement.
En revanche, ils échouent à juger de l'importance d'un travail. Les auteurs rapportent que ces outils ne savent pas reconnaître un article qui revient sur un problème déjà résolu. Ils passent aussi à côté des cas où le résumé ou une affirmation exagère la contribution réellement présentée dans le corps de l'article.
Recommandations et analyse
Les auteurs formulent trois recommandations. Premièrement, concevoir un moteur de recherche qui redonne du poids au travail éditorial et à l'évaluation par les pairs, en classant les articles selon leurs notes d'évaluation et leur statut de publication avec comité de lecture. Selon eux, Google Scholar et IEEE Xplore placent toutes les publications sur un pied d'égalité, quels que soient la relecture ou le prestige du support. Deuxièmement, envisager un modèle de publication en aveugle et une diffusion sur les réseaux sociaux organisée par thème, afin que les noms des auteurs et des institutions passent au second plan derrière le contenu. Troisièmement, employer les modèles de langage pour ce qu'ils font bien, à savoir résumer et extraire des données quantitatives, tout en gardant à l'esprit qu'un outil capable de juger la nouveauté pourrait un jour éroder l'expertise qu'il imite.
Cette étude est importante car elle mesure un problème que la plupart des chercheurs ne décrivent qu'à travers des anecdotes. Si environ un article sur cinq porte l'essentiel de la contribution, un lecteur qui trie selon les citations ou les téléchargements utilise un filtre qui, d'après les preuves des auteurs eux-mêmes, ne reflète pas la qualité. C'est un argument concret en faveur d'un classement fondé sur les signaux de relecture par les pairs, et il cadre avec le constat que les outils de recherche actuels les ignorent.
Plusieurs limites doivent être gardées en tête. Les données portent sur un seul sous-domaine et une seule année, de sorte qu'on ne peut pas supposer que le chiffre de 20 % s'applique à d'autres domaines de la robotique ou à d'autres années. Le jugement sur ce qui est « très marquant » émane des cinq auteurs seniors, qui ont conçu l'étude et effectué la lecture. Il s'agit d'un avis d'experts, non d'un benchmark indépendant, et la source ne précise pas comment les désaccords ont été tranchés. La comparaison entre humains et modèles de langage a en outre été réalisée avec un seul ensemble d'outils, ce qui ne prouve pas qu'aucun modèle futur ne pourrait évaluer la nouveauté.
Les propositions d'un moteur de recherche pondéré par la relecture par les pairs et d'une publication en aveugle n'ont pas été testées. La source ne fournit pour l'instant aucune preuve que l'une ou l'autre améliorerait la façon dont les chercheurs trouvent les travaux solides. Ce que l'étude établit, c'est un point de référence : dans un domaine bien délimité, une lecture humaine attentive a identifié une petite part d'articles remarquables, que les outils automatisés n'ont pas su repérer de manière fiable.