OpenAI a annoncé que plus d'un million de personnes discutent chaque semaine des pensées suicidaires dans leurs conversations avec ChatGPT, ce qui suggère une aggravation des problèmes de santé mentale. La société a également identifié qu'environ 560 000 utilisateurs pourraient présenter des signes d'urgence liés à la santé mentale, tels que la psychose ou la manie. Ces conclusions ont été obtenues après une mise à jour de la manière dont le chatbot gère les conversations sensibles.
OpenAI a été l'objet d'une enquête de la part de la Commission Fédérale du Commerce, après qu'un adolescent se soit suicidé après des discussions avec ChatGPT. Malgré ces problèmes, OpenAI soutient que les mises à jour récentes ont amélioré la sécurité des utilisateurs et élargi l'accès aux lignes d'urgence. La société a engagé des experts en santé mentale pour évaluer et améliorer les réponses du chatbot. Cependant, les experts s'inquiètent du fait que les utilisateurs vulnérables recherchent un soutien psychologique dans les chatbots, ce qui peut être nuisible. Sam Altman, le directeur d'OpenAI, a déclaré qu'il envisageait de permettre une gamme plus large de contenu sur ChatGPT, mentionnant qu'auparavant, cela avait été restrictif en raison de préoccupations liées à la santé mentale.