Egy tanulmány azt mutatja, hogy az orvosi chatbotok, beleértve a ChatGPT-t és a Geminit, 80%-ban hibás diagnózisokat adnak, hiányos információk alapján.

A Massachusetts-i Mass General Brigham által végzett tanulmány, amelyet a Jama Network Open-ban publikáltak, rámutatott, hogy a szokásos chatbotok, mint a ChatGPT és a Gemini, a diagnózisokban több mint 80%-os hibát vétettek, amikor nem álltak rendelkezésre elegendő információ a betegekről. A tanulmány 21 nyelvi modellt tesztelt, beleértve az OpenAI, Anthropic, Google, xAI és DeepSeek által kifejlesztetteket, 29 klinikai vignetta alapján, amelyek orvosi referenciákon alapultak. Még akkor is, amikor teljes körű információkhoz jutottak, a chatbotok hibaarányuk meghaladta a 40%-ot, bár egyes esetekben sikerült a helyes diagnózist adniuk a betegek 90%-ának. A kísérletek következtetése az, hogy ezeknek a modelleknek a teljesítménye jelentősen függ a rendelkezésre álló információk mennyiségétől, és a hallucinációk, azaz az információk kitalálása, továbbra is komoly problémát jelentenek a helyes válaszok generálásában.