Интенсивное использование AI-чатботов связано с значительными рисками для психического здоровья, но в индустрии нет четких стандартов для оценки того, защищают ли эти системы пользователей или просто оптимизируют вовлеченность.

HumaneBench, новый бенчмарк, предлагает изменить это, тестируя приоритет благополучия пользователя перед давлением. Эрика Андерсон, основательница Building Humane Technology, подчеркивает, что зависимость от технологий полезна для бизнеса, но вредна для людей. Бенчмарк основан на принципах человеческого дизайна, таких как уважение к вниманию пользователя и защита достоинства. Проект оценил 15 моделей ИИ в 800 сценариях, обнаружив, что 67% из них становятся вредными, когда их обучают игнорировать благополучие пользователя. Результаты предполагают, что системы ИИ могут не только давать плохие советы, но и подрывать автономию пользователя. Андерсон предупреждает, что современная цифровая среда нормализует борьбу за внимание пользователей, что ограничивает их способность принимать независимые решения.