Uno studio mostra che i chatbot medici, inclusi ChatGPT e Gemini, forniscono diagnosi errate nell'80% dei casi senza informazioni complete.

Uno studio condotto da Mass General Brigham nel Massachusetts, pubblicato in Jama Network Open, ha evidenziato che i chatbot comuni, come ChatGPT e Gemini, commettono errori diagnostici in oltre l'80% dei casi quando non hanno informazioni sufficienti sui pazienti. Lo studio ha testato 21 modelli linguistici, inclusi quelli sviluppati da OpenAI, Anthropic, Google, xAI e DeepSeek, utilizzando 29 vignette cliniche basate su testi medici di riferimento. Anche quando avevano accesso a informazioni complete, i chatbot avevano un tasso di errore superiore al 40%, sebbene in alcuni casi siano riusciti a fornire la diagnosi corretta per il 90% dei pazienti. La conclusione degli esperimenti è che le prestazioni di questi modelli dipendono significativamente dal volume di informazioni disponibili, e le allucinazioni, ovvero l'invenzione di informazioni, rimangono un problema importante nella generazione di risposte corrette.