De los más de 300 artículos sobre aprendizaje por demostración publicados en 2024, alrededor del 20 % aportó contribuciones muy notables. El resto fueron mejoras incrementales de métodos existentes o aplicaciones de estos en dominios nuevos. Esa es la conclusión de un esfuerzo de lectura de un año realizado por cinco investigadores sénior en robótica: Aude Billard, Renaud Detry, Nadia Figueroa, Dongheui Lee y Kunpeng Yao. Maximilian Foriest aportó los scripts para el análisis con modelos de lenguaje.
La magnitud del problema
El aprendizaje por demostración (LfD, por sus siglas en inglés) abarca los métodos en los que expertos humanos enseñan a los robots. Los autores lo eligieron como subárea concreta porque leer toda la literatura de robótica no es viable. Solo en 2024, IEEE publicó 46 968 artículos sobre robótica o automatización, y los autores señalan que IEEE representa apenas una fracción de lo disponible en línea.
Los envíos a revistas de robótica han crecido cada año durante la última década. El crecimiento alcanzó el 26 % en 2023 y el 31 % en 2024. Los autores lo atribuyen a varios factores, entre ellos el creciente interés público y privado y la disponibilidad de herramientas de IA que ayudan a redactar artículos y código. Los artículos publicados han seguido la misma curva, aunque los comités editoriales han reducido las tasas de aceptación para contenerla.
Las conferencias muestran el mismo patrón. ICRA duplicó el número de artículos publicados en diez años y llegó a aproximadamente 1800 en 2024. El tiempo entre el envío y la publicación se ha reducido un 50 %, algo que los autores vinculan con la presión de la comunidad por publicar rápido. Afirman que IJRR, RSS y CoRL siguen la misma tendencia.
Lo que mostró la lectura
Cinco autores sénior leyeron ellos mismos los artículos y realizaron un análisis tanto cualitativo como cuantitativo. Encontraron que las contribuciones notables no se correlacionaban necesariamente con un mayor número de descargas o citas. En otras palabras, la visibilidad de un artículo no era un indicador fiable de su valor.
Los autores sostienen que localizar los trabajos más sólidos importa por dos razones: reduce el riesgo de que resultados novedosos pasen inadvertidos y reduce el esfuerzo duplicado.
Cómo se desempeñaron las herramientas automatizadas
El equipo también probó scripts y grandes modelos de lenguaje en la misma tarea. Estas herramientas funcionaron con bastante fidelidad en la evaluación cuantitativa general, como extraer cifras precisas de un artículo. También resumieron bien trabajos individuales.
Fallaron al juzgar la importancia. Los autores señalan que las herramientas no reconocen un artículo que retoma un problema ya resuelto. Tampoco detectan los casos en que un resumen o una afirmación exagera la contribución realmente descrita en el cuerpo del artículo.
Recomendaciones y análisis
Los autores formulan tres recomendaciones. Primero, crear un motor de búsqueda científica que devuelva peso al trabajo editorial y a la revisión por pares, clasificando los artículos por puntuaciones de evaluación y estado de revisión por pares. Según ellos, Google Scholar e IEEE Xplore ponen todas las publicaciones en pie de igualdad, sin importar la revisión ni el prestigio de la sede. Segundo, considerar un modelo de publicación ciega y la difusión en redes sociales organizada por temas, de modo que los nombres de los autores y las instituciones pasen a un segundo plano frente al contenido. Tercero, usar los modelos de lenguaje para lo que hacen bien, es decir, resumir y extraer datos cuantitativos, siendo conscientes de que una herramienta capaz de juzgar la novedad podría algún día erosionar la experiencia que imita.
El estudio es relevante porque mide un problema que la mayoría de los investigadores describe solo de manera anecdótica. Si aproximadamente uno de cada cinco artículos concentra la contribución principal, quien selecciona lecturas por citas o descargas usa un filtro que, según la propia evidencia de los autores, no refleja la calidad. Es un argumento concreto a favor de clasificar según señales de revisión por pares, y coincide con el hallazgo de que las herramientas de búsqueda actuales las ignoran.
Conviene tener presentes varias limitaciones. Los datos cubren una subárea y un solo año, por lo que no puede darse por hecho que la cifra del 20 % se mantenga en otros campos de la robótica ni en otros años. El criterio sobre qué se considera muy notable provino de los cinco autores sénior, que diseñaron el estudio y realizaron la lectura. Es una opinión experta, no un punto de referencia independiente, y la fuente no describe cómo se resolvieron los desacuerdos. Además, la comparación entre humanos y modelos de lenguaje se hizo con un único conjunto de herramientas, por lo que no demuestra que ningún modelo futuro pueda evaluar la novedad.
Las propuestas de un motor de búsqueda ponderado por revisión por pares y de la publicación ciega no se han puesto a prueba. La fuente aún no ofrece evidencia de que alguna de las dos mejore la forma en que los investigadores encuentran trabajos sólidos. Lo que el estudio sí establece es una línea de base: en un área bien definida, una lectura humana cuidadosa encontró una pequeña proporción de artículos sobresalientes, y las herramientas automatizadas no lograron identificarlos de forma fiable.