Eine neue Studie der Brown University spricht eine eindringliche Warnung bezüglich der Sicherheit und Zuverlässigkeit von IA-Tools wie ChatGPT und anderen Large Language Models (LLM) aus. Die von Informatiker:innen und Expert:innen für psychische Gesundheit durchgeführte Studie hat festgestellt, dass diese Chatbots systematisch gegen ethische Standards verstoßen, auch dann, wenn sie trainiert werden, um evidenzbasierte psychotherapeutische Techniken zu anzuwenden.
Die Studie zeigt insbesondere, dass die sogenannten „LLM-Therapeuten“ zu einer Reihe schwerer ethischer Vergehen neigen. Unter den aufgezeigten Risiken sind der unangemessene Umgang mit Krisensituationen, die Tendenz abwegige Antworten zu geben, die die negativen Meinungen der Nutzer:innen über sich verstärken können, und die Simulation von Empathie, mit trügerischen Sätzen wie „Ich verstehe dich“.
Die Forschenden haben ein Raster mit 15 ethischen Risiken erstellt, um zu zeigen, wie die Modelle von den verlangten ethischen Standards abweichen. Anlass der Studie war die Beobachtung, wie weit verbreitet spezifische Prompts sind, die häufig in den sozialen Medien geteilt werden und versuchen, die KI anzuleiten, sich wie ein Experte für kognitive Verhaltenstherapie (CBT) oder dialektisch-behavoriale Therapie (DBT) zu verhalten.
Für ihre Arbeit haben die Forschenden erfahrene Therapeuten und Therapeutinnen beobachtet, die therapeutische Prompts nutzten, um mit LLM-Version wie GPT, Claude und Lama zu interagieren. Die Aufnahmen der simulierten Chats wurden dann von klinischen Psychologen bewertet, welche die ethischen Verstöße ermittelten. Diese wurden in fünf Kategorien eingeteilt: Fehlende kontextuelle Einordnung (die zu allgemeinen Empfehlungen führt), geringe therapeutische Zusammenarbeit (während der Bot zuweilen falsche Überzeugungen bestärkt), trügerische Empathie, willkürliche Diskriminierung, und – besonders besorgniserregend – fehlende Sicherheit und mangelndes Krisenmanagement. Letztgenannter Punkt schließt Nachlässigkeit bei den Antworten in Krisensituationen wie Selbstmordabsichten und die fehlende Weiterleitung der Nutzer:innen an geeignete Stellen ein.
Zainab Iftikhar, die Autorin der Studie, erklärt, dass zwar bei auch menschlichen Therapeut:innen „ethische Risiken“ bestehen, der wesentliche Unterschied aber in der Verantwortung liegt. Für die menschlichen Experten und Expertinnen existieren Psychotherapeutenkammern und gesetzliche Richtlinien, um gegen Verstöße vorzugehen; dagegen gibt es für LLM-Therapeuten keine rechtlichen Grundlagen.
Quelle
Iftikhar Z et al. How LLM Counselors violate ethical standards in mental health practice: a practitioner-informed framework. AIES [Internet]. 2025;8(2):1311-23.