OpenAI hat angekündigt, dass über eine Million Menschen wöchentlich über Suizidgedanken in Gesprächen mit ChatGPT diskutieren, was auf eine Verschärfung der psychischen Gesundheitsprobleme hindeutet. Das Unternehmen hat außerdem festgestellt, dass etwa 560.000 Nutzer Anzeichen von psychischen Notfällen wie Psychosen oder Manien zeigen könnten. Diese Schlussfolgerungen wurden nach einem Update darüber, wie der Chatbot mit sensiblen Gesprächen umgeht, gewonnen.
OpenAI war Gegenstand einer Untersuchung der Federal Trade Commission, nachdem ein Jugendlicher sich nach Gesprächen mit ChatGPT das Leben genommen hatte. Trotz dieser Probleme behauptet OpenAI, dass die jüngsten Updates die Sicherheit der Nutzer verbessert und den Zugang zu Notrufnummern erweitert haben. Das Unternehmen hat Experten für psychische Gesundheit engagiert, um die Antworten des Chatbots zu bewerten und zu verbessern. Dennoch sind die Experten besorgt, dass verletzliche Nutzer psychologische Unterstützung in Chatbots suchen, was schädlich sein kann. Sam Altman, der Chef von OpenAI, erklärte, dass er beabsichtigt, eine breitere Palette von Inhalten auf ChatGPT zuzulassen, und wies darauf hin, dass es zuvor aufgrund von Bedenken hinsichtlich der psychischen Gesundheit restriktiv war.