Eine Studie zeigt, dass medizinische Chatbots, einschließlich ChatGPT und Gemini, in 80% der Fälle falsche Diagnosen stellen, ohne vollständige Informationen.

Eine Studie von Mass General Brigham aus Massachusetts, veröffentlicht in Jama Network Open, hat gezeigt, dass gängige Chatbots wie ChatGPT und Gemini in über 80 % der Fälle falsche Diagnosen stellen, wenn sie nicht genügend Informationen über die Patienten haben. Die Studie testete 21 Sprachmodelle, darunter die von OpenAI, Anthropic, Google, xAI und DeepSeek entwickelt wurden, unter Verwendung von 29 klinischen Vignetten, die auf medizinischen Referenztexten basieren. Selbst wenn sie Zugang zu vollständigen Informationen hatten, hatten die Chatbots eine Fehlerquote von über 40 %, obwohl sie in einigen Fällen in der Lage waren, die richtige Diagnose für 90 % der Patienten zu stellen. Die Schlussfolgerung der Experimente ist, dass die Leistung dieser Modelle erheblich von der Menge der verfügbaren Informationen abhängt und Halluzinationen, also das Erfinden von Informationen, ein großes Problem bei der Generierung korrekter Antworten bleiben.