Una revisione condotta su un solo anno di ricerca sull'apprendimento da dimostrazione (learning from demonstration) ha individuato 347 articoli rilevanti pubblicati nel 2024, e solo 69 di essi, circa il 20 per cento, hanno dato contributi di rilievo. Il risultato è stato presentato a un panel dell'ICRA dedicato al diluvio di pubblicazioni in robotica, in cui i ricercatori si sono confrontati su come il settore possa gestire il volume di articoli e su cosa debba cambiare nella peer review robotica.
La presidente del panel, Aude Billard, ha evidenziato la crescita rapida registrata nelle principali sedi dell'IEEE Robotics and Automation Society, con un andamento grosso modo esponenziale iniziato intorno al 2017. Una stima per il 2025 colloca intorno a 70.000 il numero di articoli che contengono la parola robotics.
Cosa ha rivelato un anno di letture
Kunpeng Yao ha presentato un caso di studio finanziato dall'IEEE RAS Science and Technology Watch Board. Il team si è proposto di leggere con attenzione un intero sottosettore nell'arco di un solo anno. Ha cercato su IEEE Xplore gli articoli del 2024 sull'apprendimento da dimostrazione, ha vagliato manualmente i risultati e ha individuato i 347 articoli rilevanti.
Gli articoli giudicati di rilievo tendevano a proporre nuove formulazioni, meccanismi o garanzie teoriche. Si confrontavano con solide baseline allo stato dell'arte, mostravano miglioramenti netti in termini di robustezza, trasferimento o recupero dai guasti, introducevano nuove modalità di insegnamento o raccolta dati e convalidavano le proprie tesi su robot reali. Gli articoli risultavano meno convincenti quando ribattezzavano approcci già esistenti o non dimostravano ciò che dichiaravano.
La lezione di Yao è che la rilevanza va misurata rispetto allo stato dell'arte, non rispetto al vocabolario più recente. Il panel ha osservato che il lavoro utile a volte si nasconde in sedi meno alla moda o è firmato da gruppi meno visibili.
Billard ha sostenuto che la robotica non può affidarsi a una specializzazione ristretta come fanno alcuni altri settori. Un robot integra percezione, controllo, manipolazione, apprendimento, hardware, interazione, sicurezza e implementazione sul campo. Se i ricercatori riescono a seguire soltanto compartimenti stagni, il settore perde la capacità di collegare idee tra ambiti diversi.
I modelli linguistici (LLM) e il problema della finta comprensione
Nadia Figueroa ha affermato che i grandi modelli linguistici (LLM) possono migliorare gli aspetti operativi della revisione della letteratura, tra cui ricerca, recupero, raggruppamento, tabelle, sintesi e mappe concettuali di massima. Un lavoro che un tempo richiedeva settimane o mesi può talvolta essere svolto in poche ore, abbassando la soglia d'ingresso per un nuovo dottorando che si affaccia a un settore.
Ha descritto tre livelli di allucinazione. Il primo riguarda riferimenti falsi o errati. Il secondo è un riferimento reale i cui contenuti vengono riportati in modo scorretto dal modello. Il terzo è l'invenzione di punti in comune plausibili ma falsi tra gli articoli. "Il pericolo oggi non sono le citazioni false", ha detto Figueroa. "È la comprensione finta."
Una revisione basata su LLM può citare articoli reali e rappresentare comunque in modo distorto il settore. Se i ricercatori delegano non solo la lettura ma anche il confronto, il giudizio e il dubbio, il settore rischia di produrre più testo sviluppando meno comprensione.
Incentivi, tipologie di articoli e visibilità
Greg Dudek ha parlato di salami slicing, la pratica di dividere un lavoro in fette sottilissime da distribuire tra workshop, conferenze e riviste. A suo dire il sistema la premia: gli studenti hanno bisogno di articoli per laurearsi, i ricercatori all'inizio della carriera per trovare lavoro, e le commissioni ripiegano su titoli, sedi, conteggi e indici. Il suo rimedio preferito è puntare su meno articoli, ma più integrati. Ha aggiunto che non esiste soluzione se questa significa tornare a un mondo più tranquillo, e ha paragonato le piccole riforme procedurali alla costruzione di mura più robuste attorno a un castello di sabbia mentre si avvicina uno tsunami.
Renaud Detry ha spiegato che una parte della crescita riflette la maggiore presenza di lavori applicativi sui sistemi nelle sedi accademiche, cosa che non è necessariamente negativa. Il problema è che un unico processo di valutazione giudica algoritmi, sistemi ingegnerizzati, benchmark, dataset e studi di validazione industriale come se fossero lo stesso tipo di articolo. Ha suggerito di creare percorsi distinti per scienza di base, applicazioni, infrastrutture, benchmark e correttezza tecnica.
Dongheui Lee ha affrontato il tema di arXiv, dei rilasci open source, delle pagine di progetto, dei video, dei blog e dei social media. Questi strumenti ampliano l'accesso e favoriscono la riproducibilità, ma la visibilità può riflettere il prestigio istituzionale, le reti di contatti, la rapidità e l'autopromozione tanto quanto il valore scientifico. Ha proposto di mantenere la peer review degli esperti come filtro di qualità e di sfruttarne meglio i segnali, con comitati editoriali e team di comunicazione che promuovano gli articoli ben valutati provenienti da laboratori meno noti.
Abolire il guardiano?
Shigeki Sugano si è chiesto che cosa accadrebbe se la peer review venisse abbandonata del tutto. Nel suo modello, i manoscritti legittimi di robotica e IA verrebbero prima pubblicati in un archivio aperto, con video, codice e dati. La valutazione della comunità, sotto identità verificate, avverrebbe in pubblico, mentre riviste e conferenze certificherebbero i lavori di alto valore invece di decidere che cosa possa esistere. "La questione non è se la peer review abbia valore", ha detto. "La questione è se debba restare l'unico varco verso la visibilità."
Gli altri relatori hanno indicato come rischi il bias di popolarità, la manipolazione del sistema, gli effetti reputazionali e l'invasione di articoli di bassa qualità.
Analisi: che cosa il panel dimostra e che cosa no
Il dato più utile della sessione è la cifra del 20 per cento, perché deriva da una lettura manuale basata su criteri e non da un'opinione. Suggerisce che la difficoltà non sia tanto il numero complessivo quanto il costo di individuare la minoranza di articoli che fanno avanzare la frontiera. Questo indica che filtri migliori e categorie di articoli più chiare sono obiettivi più pratici rispetto alla riduzione del volume, che lo stesso Dudek ha definito improbabile.
Anche le proposte si incastrano in modo disomogeneo. I percorsi distinti di Detry e la valorizzazione dei lavori ben valutati proposta da Lee mantengono entrambi la peer review, cambiandone il segnale. Il modello di Sugano ne elimina la funzione di filtro e sposta l'onere sulla valutazione pubblica, che è proprio il punto in cui gli altri relatori vedevano il rischio di bias di popolarità. L'osservazione della stessa Lee, secondo cui la visibilità segue prestigio e autopromozione, vale tanto per la revisione aperta della comunità quanto per i social media.
Diversi aspetti restano non dimostrati. Il risultato del 20 per cento riguarda un solo sottosettore in un solo anno, quindi non si può dare per scontato che valga per altri ambiti della robotica. La cifra di 70.000 è una stima degli articoli che contengono una singola parola, non un conteggio di contributi di ricerca distinti. Nessuna delle proposte è stata accompagnata da risultati di test, e i vantaggi degli LLM descritti da Figueroa, ore invece di settimane, non sono stati affiancati da tassi di errore misurati per le allucinazioni di secondo e terzo livello da lei segnalate.
L'implicazione pratica è circoscritta ma concreta. Qualsiasi strumento o politica pensata per il diluvio di pubblicazioni dovrebbe essere giudicata in base alla capacità di aiutare i lettori a trovare lavori che superano lo stato dell'arte e sono validati su robot reali, non in base al numero di articoli che elabora. Finché ciò non sarà verificato, la conclusione meglio supportata resta l'accordo del panel sul fatto che non esiste una soluzione netta.