Con la crescente integrazione dell’intelligenza artificiale nei processi scientifici, ChatGPT e altri modelli linguistici stanno sempre più influenzando il sistema di peer review nel settore informatico. Fino al 17% delle peer review viene scritto o comunque ha il supporto dall’intelligenza artificiale. Questa tendenza rende sempre più evidente la necessità di linee guida per condurre a un uso responsabile, avverte James Zou, ricercatore della Stanford University e autore di un editoriale pubblicato su Nature.

Le peer review “assistite” dall’IA presentano spesso tratti distintivi: ridondanza, formalità e mancanza di riferimenti specifici a sezioni di documenti di ricerca, che le rendono facilmente individuabili. Le revisioni scritte dall’IA tendono poi a usare parole come “lodevole” e “meticoloso” molto più spesso dei revisori umani, e mancano di profondità tecnica e di critica metodologica.

Certo, è incontestabile che gli strumenti di IA rappresentano una risorsa potenzialmente preziosissima, soprattutto se i ricercatori hanno poco tempo a disposizione. Ma, come sottolinea Zou, il rischio è che l’uso indiscriminato dell’IA nella peer review possa sul lungo periodo minare l’integrità del processo scientifico. ChatGPT può aiutare migliorando il linguaggio o riassumendo ricerche correlate, ma potrebbe anche interpretare male i dati o trascurare gli errori.

Zou a questo proposito suggerisce che le linee guida dovrebbero stabilire dei limiti chiari sull’uso dell’IA, riservandola a compiti come l’editing linguistico o il fact-checking di base, lasciando l’analisi e la critica scientifica agli esperti umani. Inoltre, sostiene la necessità di piattaforme di revisione più interattive, come OpenReview, dove i revisori e gli autori possono avere discussioni di feedback dirette e anonime

Infine, le riviste e le conferenze sono incoraggiate a seguire politiche di trasparenza, richiedendo ai revisori di rivelare qualsiasi assistenza dell’IA nel loro lavoro.

Fonte

Zou J. ChatGPT is transforming peer review — how can we use it responsibly? Nature 2024;635:10.