Mit der zunehmenden Integration von künstlicher Intelligenz in wissenschaftliche Prozesse, spielen ChatGPT und andere Große Sprachmodelle eine immer größere Rolle bei Peer-Review-Verfahren. Bis zu 17 % der Peer Reviews wird von KI verfasst oder unterstützt. Diese Tendenz verdeutlicht, dass es Leitlinien für den verantwortlichen Umgang bedarf, wie James Zou, Forscher an der Stanford University und Autor eines in Nature erschienenen Editorials feststellt.

Die von KI „unterstützten“ Peer Reviews zeichnen sich meist durch bestimmte Merkmale aus: Redundanz, Förmlichkeit und Mangel an spezifischen Verweisen auf bestimmte Abschnitte der Forschungsarbeiten, die sie leicht identifizierbar machen. Die KI-generierten Begutachtungen neigen zudem sehr viel häufiger als die menschlichen Revisoren dazu, Wörter wie „lobenswert“ oder „sorgfältig“ zu verwenden, außerdem fehlt es ihnen an technischer Substanz und methodologischer Kritik.

Es steht außer Frage, dass KI-Tools eine wertvolle Ressource sein können, vor allem, wenn die Forschenden wenig Zeit haben. Jedoch besteht das Risiko, wie Zou hervorhebt, dass der wahllose Einsatz von KI in den Peer Reviews langfristig die Integrität des wissenschaftlichen Prozesses untergräbt. ChatGPT kann Sprache und Grammatik korrigieren  oder zusammenhängende Forschungsarbeiten resümieren, jedoch auch Daten falsch interpretieren oder Fehler ignorieren.

Zou empfiehlt, dass die Leitlinien klare Grenzen für den Einsatz von künstlicher Intelligenz vorgeben und KI lediglich Aufgaben wie die Korrektur der Sprache oder grundlegendes Fact-Checking übernehmen sollte, während die wissenschaftliche Kritik und Analyse menschlichen Expert:innen vorbehalten bleibt. Überdies spricht er sich für interaktivere Peer-Review-Plattformen wie Open Review aus, auf denen die Reviewer und Autor:innen direkte und anonyme Feedback-Diskussionen führen können.

Schließlich sind Fachzeitschriften und Konferenzen aufgerufen, eine Politik der Transparenz zu verfolgen und die Reviewer anzuhalten, jegliche Unterstützung ihrer Arbeit durch KI offenzulegen.

Quelle

Zou J. ChatGPT is transforming peer review — how can we use it responsibly? Nature 2024;635:10.