Eine neue Studie, die auf der Konferenz ACM FAccT ’25 (23.-26. Juni) vorgestellt wurde, zeigt, dass große Sprachmodelle (LLM) noch nicht in der Lage sind, im klinischen Umfeld menschliche Therapeuten zu ersetzen. Das Team von der Universität Stanford führte unter Leitung von Jared Moore eine genaue Bestandsaufnahme von zehn Leitlinien einiger wichtiger Institutionen wie der American Psychological Association, dem US-Veteranenministerium und dem National Institute for Health and Care Excellence durch und ermittelte siebzehn Elemente für eine wirksame Therapie, von der Herstellung einer therapeutischen Allianz über die Vermeidung des Stigmas bis zur schnellen Identifizierung akuter Symptome.

Anlass für die Studie ist, dass es vor allem in den USA zunehmend schwierig wird, einen engmaschigen Zugang zu psychologischer Betreuung zu gewährleisten: Aufgrund der hohen Kosten,von Stigmatisierung und dem Mangel an qualifiziertem Personal wird fast die Hälfte der Menschen mit psychischen Problemen nicht behandelt. In diese Lücke sind Lösungen mit LLM-Chatbots vorgestoßen, die von einigen als Allheilmittel betrachtet werden, um das therapeutische Angebot zu niedrigeren Kosten zu erweitern. Jedoch ließ schon im Februar 2014 ein tragischer Vorfall – der Selbstmord eines Jugendlichen nach dem Austausch mit einem Chatbot von Character.ai – Zweifel an der Sicherheit dieser Systeme aufkommen.

Um zu bewerten, in welchem Maße große Sprachmodelle ((LLM) klinische Standards respektieren, übertrugen die Forschenden die Leitlinien in operative Kriterien, die in zwei Experimenten zur Anwendung kamen. Im ersten Experiment wurde anhand von tausend auf klinischen Vignetten basierenden Szenarien die Neigung der Modelle gemessen, stigmatisierende Haltungen gegenüber Problemen wie Depression, Alkoholismus und Schizophrenie wiederzugeben. Die Ergebnisse zeigten, das auch GPT-4o und LLaMA 3.1 signifikante Bias aufweisen und insbesondere gegenüber Schizophrenie und Alkoholismus starke negative Urteile an den Tag legen. Im zweiten Experiment wurde anhand von Reizen, die Selbstmordgedanken, Delirien oder zwanghaftes Verhalten auslösen sollten, die Fähigkeit von LLM getestet, sichere und leitliniengerechte Antworten zu geben: Auf hundert analysierte Fälle kamen mehr als zwanzig Prozent unangemessener Antworten, mit einem besonders niedrigen Maß an Zuverlässigkeit in Fällen von Delirium (ca. 45 %).

Quelle

Moore J et al. Expressing stigma and inappropriate responses prevents LLMs from safely replacing mental health providers. FAccT ’25: Proceedings of the 2025 ACM Conference on Fairness, Accountability, and Transparency, 2025.