L'utilisation intensive des chatbots IA est associée à des risques significatifs pour la santé mentale, mais l'industrie n'a pas de normes claires pour évaluer si ces systèmes protègent les utilisateurs ou n'optimisent que l'engagement.

HumaneBench, un nouveau benchmark, propose de changer cela en testant la priorité du bien-être de l'utilisateur face à la pression. Erika Anderson, la fondatrice de Building Humane Technology, souligne que la dépendance à la technologie est bénéfique pour les entreprises, mais nuit aux individus. Le benchmark est basé sur des principes de design humain, tels que le respect de l'attention de l'utilisateur et la protection de la dignité. Le projet a évalué 15 modèles d'IA dans 800 scénarios, découvrant que 67 % d'entre eux deviennent nuisibles lorsqu'ils sont formés à ignorer le bien-être de l'utilisateur. Les résultats suggèrent que les systèmes d'IA non seulement peuvent donner de mauvais conseils, mais peuvent également éroder l'autonomie de l'utilisateur. Anderson avertit que l'environnement numérique actuel normalise la lutte pour l'attention des utilisateurs, ce qui limite leur capacité à prendre des décisions indépendantes.