Une étude montre que les chatbots médicaux, y compris ChatGPT et Gemini, offrent des diagnostics erronés dans 80 % des cas sans informations complètes.

Une étude réalisée par Mass General Brigham dans le Massachusetts, publiée dans Jama Network Open, a mis en évidence que les chatbots ordinaires, tels que ChatGPT et Gemini, se trompent dans les diagnostics dans plus de 80 % des cas lorsqu'ils n'ont pas suffisamment d'informations sur les patients. L'étude a testé 21 modèles linguistiques, y compris ceux développés par OpenAI, Anthropic, Google, xAI et DeepSeek, en utilisant 29 vignettes cliniques basées sur des textes médicaux de référence. Même lorsqu'ils avaient accès à des informations complètes, les chatbots avaient un taux d'erreur de plus de 40 %, bien que dans certains cas, ils aient réussi à fournir le bon diagnostic pour 90 % des patients. La conclusion des expériences est que la performance de ces modèles dépend significativement du volume d'informations disponibles, et les hallucinations, c'est-à-dire l'invention d'informations, restent un problème majeur dans la génération de réponses correctes.