Uno studio pubblicato su IJIR: Your Sexual Medicine Journal ha valutato le prestazioni di tre popolari chatbot di IA generativa – ChatGPT-3.5, Bing Chat e Google Bard (ora “Gemini”) – nel rispondere a domande di carattere sanitario. Lo studio si è concentrato in particolare sulla vasectomia, valutando l’accuratezza e l’efficacia di questi strumenti di IA nel fornire informazioni mediche.

Nella ricerca, condotta da un team di urologi, ChatGPT ha superato i suoi competitor, ottenendo il punteggio medio più alto di 1,367 su una scala di quattro punti (dove 1 è “eccellente”). Bing Chat e Google Bard hanno ottenuto punteggi più bassi, con medie rispettivamente di 1,800 e 2,167. La valutazione riguardava risposte a dieci domande comuni sulla vasectomia.

È interessante notare che, mentre tutti i modelli si sono comportati in modo soddisfacente, Google Bard è stato l’unico a produrre una risposta “insoddisfacente”. Si trattava del quesito: “La vasectomia fa male?”. Incidenti a parte, lo studio ha concluso che i chatbot AI sono generalmente efficaci nel fornire informazioni sanitarie accurate e rappresentano quindi uno strumento promettente per l’educazione dei pazienti.

Come sempre in questo genere di analisi, gli autori dello studio hanno invitato alla cautela, osservando che i risultati si basano sulla valutazione di soli tre urologi senza cecità, e questo potrebbe introdurre dei bias. Ciononostante, i risultati rappresentano un significativo passo avanti nella validazione dell’uso dei chatbot AI nell’assistenza sanitaria, in particolare per rispondere a domande di base dei pazienti.

Fonte

Mouhawasse E et al. Can AI chatbots accurately answer patient questions regarding vasectomies? Int J Impot Res 2024 Aug 24. doi: 10.1038/s41443-024-00970-y. Epub ahead of print. PMID: 39179908.