Su oltre 300 articoli sull'apprendimento da dimostrazione (learning from demonstration) pubblicati nel 2024, circa il 20% ha offerto contributi di grande rilievo. Il resto erano miglioramenti incrementali di metodi esistenti o loro applicazioni in nuovi ambiti. È quanto emerge da un lavoro di lettura durato un anno da parte di cinque ricercatori senior di robotica: Aude Billard, Renaud Detry, Nadia Figueroa, Dongheui Lee e Kunpeng Yao. Maximilian Foriest ha fornito gli script per l'analisi tramite modelli linguistici.
La portata del problema
L'apprendimento da dimostrazione, o LfD, comprende i metodi in cui esperti umani insegnano ai robot. Gli autori lo hanno scelto come singola sottoarea perché leggere l'intera letteratura robotica non è praticabile. Nel solo 2024 IEEE ha pubblicato 46.968 articoli su robotica o automazione, e gli autori osservano che IEEE rappresenta solo una frazione di ciò che è disponibile online.
Negli ultimi dieci anni le sottomissioni alle riviste di robotica sono cresciute ogni anno. La crescita ha raggiunto il 26% nel 2023 e il 31% nel 2024. Gli autori la attribuiscono a diversi fattori, tra cui il crescente interesse pubblico e privato e la disponibilità di strumenti di IA che aiutano a scrivere articoli e codice. Anche gli articoli pubblicati hanno seguito la stessa curva, nonostante i comitati editoriali abbiano abbassato i tassi di accettazione per contenerla.
Le conferenze mostrano lo stesso andamento. ICRA ha raddoppiato il numero di articoli pubblicati in dieci anni, arrivando a circa 1.800 nel 2024. Il tempo tra sottomissione e pubblicazione si è ridotto del 50%, un dato che gli autori collegano alla pressione della comunità a pubblicare rapidamente. Secondo loro, IJRR, RSS e CoRL seguono la stessa tendenza.
Cosa ha mostrato la lettura
I cinque autori senior hanno letto personalmente gli articoli e condotto analisi sia qualitative sia quantitative. Hanno rilevato che i contributi rilevanti non erano necessariamente correlati a un maggior numero di download o citazioni. In altre parole, la visibilità di un articolo non era un indicatore affidabile del suo valore.
Gli autori sostengono che individuare i lavori più solidi sia importante per due motivi: riduce il rischio che risultati innovativi passino inosservati e limita la duplicazione degli sforzi.
Come se la sono cavati gli strumenti automatici
Il team ha anche messo alla prova script e modelli linguistici di grandi dimensioni (LLM) sullo stesso compito. Questi strumenti si sono dimostrati abbastanza fedeli nella valutazione quantitativa generale, ad esempio nel raccogliere dati numerici precisi da un articolo. Hanno inoltre riassunto bene i singoli lavori.
Hanno invece fallito nel giudicare l'importanza. Gli autori riferiscono che gli strumenti non riconoscono un articolo che riprende un problema già risolto. Inoltre non individuano i casi in cui un abstract o un'affermazione dichiarata esagerano il contributo effettivamente riportato nel corpo dell'articolo.
Raccomandazioni e analisi
Gli autori formulano tre raccomandazioni. Primo, costruire un motore di ricerca che restituisca peso al lavoro editoriale e di revisione tra pari, ordinando gli articoli in base ai punteggi di valutazione e allo stato di peer review. Google Scholar e IEEE Xplore, a loro avviso, mettono tutte le pubblicazioni sullo stesso piano, a prescindere dalla revisione o dalla reputazione della sede. Secondo, valutare un modello di pubblicazione in cieco e la diffusione sui social media per argomento, in modo che nomi e istituzioni degli autori diventino secondari rispetto ai contenuti. Terzo, usare i modelli linguistici per ciò che sanno fare bene, cioè riassumere ed estrarre dati quantitativi, riconoscendo che uno strumento capace di giudicare la novità potrebbe un giorno erodere la competenza che imita.
Lo studio è rilevante perché misura un problema che la maggior parte dei ricercatori descrive solo in modo aneddotico. Se circa un articolo su cinque porta il contributo principale, chi seleziona in base a citazioni o download usa un filtro che, stando alle evidenze degli stessi autori, non riflette la qualità. È un argomento concreto a favore di un ranking basato sui segnali della peer review, coerente con la constatazione che gli attuali strumenti di ricerca li ignorano.
Vanno tenuti presenti diversi limiti. I dati riguardano una sola sottoarea e un solo anno, quindi non si può dare per scontato che il 20% valga per altri settori della robotica o per altri anni. Il giudizio su cosa sia di grande rilievo è venuto dai cinque autori senior, che hanno progettato lo studio e svolto la lettura. Si tratta di un'opinione di esperti, non di un benchmark indipendente, e la fonte non descrive come siano state gestite le divergenze. Inoltre il confronto tra esseri umani e modelli linguistici è stato condotto su un solo insieme di strumenti, quindi non dimostra che nessun modello futuro potrà valutare la novità.
Le proposte di un motore di ricerca pesato sulla peer review e di una pubblicazione in cieco non sono state testate. La fonte non offre ancora prove che l'una o l'altra migliorerebbe il modo in cui i ricercatori trovano lavori solidi. Ciò che lo studio stabilisce è un punto di riferimento: in un'area ben definita, una lettura umana attenta ha individuato una piccola quota di articoli di spicco, mentre gli strumenti automatici non sono riusciti a trovarli in modo affidabile.