Une étude montre que les modèles d'IA acceptent des informations médicales fausses présentées de manière convaincante, mettant en danger la sécurité en santé.

Une étude publiée dans The Lancet Digital Health souligne un problème majeur lié à l'utilisation de l'intelligence artificielle (IA) dans le domaine de la santé : les modèles de langage IA peuvent accepter et répéter des informations médicales fausses lorsqu'elles sont présentées dans un langage crédible. Les chercheurs ont analysé plus d'un million de requêtes sur 20 modèles de langage, y compris ChatGPT et Llama, pour déterminer si ces modèles contestent ou répètent des affirmations médicales fausses formulées de manière convaincante. Les résultats ont montré que 32 % des cas ont été acceptés comme informations valides, avec des variations significatives entre les modèles. Les modèles plus petits ont accepté des informations fausses dans plus de 60 % des cas, tandis que les modèles avancés, comme GPT-4, avaient un taux d'acceptation d'environ 10 %. Un aspect notable était que les modèles spécialisés pour l'utilisation médicale ont performé moins bien que certains modèles généraux. L'étude suggère que la manière dont l'information est formulée peut influencer davantage son acceptation que sa véracité. De plus, les modèles ont été influencés par des arguments logiques erronés, tels que les appels à l'autorité, ce qui a augmenté le taux d'acceptation des informations fausses.