Eine in IJIR: Your Sexual Medicine Journal erschienene Studie hat untersucht, wie effizient drei verbreitete KI-Chatbots – ChatGPT-3.5, Bing Chat und Google Bard (jetzt „Gemini“) – auf Fragen zur Gesundheit antworten. Die Studie konzentrierte sich insbesondere auf die Vasektomie und bewertete die Genauigkeit und Effizienz der von den KI-Tools vermittelten Gesundheitsinformationen.

In der von einem Urologen-Team durchgeführten Studie war ChatGPT den anderen Chatbots überlegen und erzielte eine durchschnittliche Punktzahl von 1,367 (auf einer Punkteskala von 4, auf der 1 das beste Ergebnis war), während Bing Chat und Google Bard eine niedrigere Punktzahl erreichten, und zwar durchschnittlich 1,800, bzw.  2,167. Bewertet wurden die Antworten auf zehn häufig gestellte Fragen zur Vasektomie.

Interessant ist, dass alle Modelle zufriedenstellend waren, Google Bard jedoch als einziges eine „unbefriedigende“ Antwort gab, und zwar auf die Frage: „Ist eine Vasektomie schmerzhaft?“. Von Zwischenfällen abgesehen, stellte die Studie fest, sind Chatbots im Allgemeinen in der Lage, zuverlässige Gesundheitsinformationen zu geben, und sind folglich ein vielversprechendes Instrument für die Patienteninformation.

Wie bei dieser Art von Analysen üblich, raten die Autor:innen zur Vorsicht und merken an, dass lediglich drei Urologen ohne Sehbehinderung die Studienergebnisse bewerteten, was zu Bias führen könnte. Dennoch stellen diese Ergebnisse einen wichtigen Schritt für die Validierung des Einsatzes von KI-Chatbots in der Gesundheitspflege dar, insbesondere bei der Beantwortung von einfachen Patientenfragen.

Quelle

Mouhawasse E et al. Can AI chatbots accurately answer patient questions regarding vasectomies? Int J Impot Res 2024 Aug 24. doi: 10.1038/s41443-024-00970-y. Epub ahead of print. PMID: 39179908.