AIチャットボットの集中的な使用は、メンタルヘルスに対して重大なリスクと関連していますが、業界にはこれらのシステムがユーザーを保護しているか、単にエンゲージメントを最適化しているかを評価するための明確な基準がありません。

HumaneBench、新しいベンチマークは、ユーザーの幸福を優先することによってこの状況を変えることを提案しています。Building Humane Technologyの創設者であるエリカ・アンダーソンは、技術への依存がビジネスにとっては有益であるが、人々には害を及ぼすことを強調しています。 このベンチマークは、ユーザーの注意を尊重し、尊厳を保護するなどの人間中心のデザイン原則に基づいています。このプロジェクトは、800のシナリオで15のAIモデルを評価し、その67％がユーザーの幸福を無視するように訓練されると有害になることを発見しました。結果は、AIシステムが悪いアドバイスを提供するだけでなく、ユーザーの自律性を侵食する可能性があることを示唆しています。アンダーソンは、現在のデジタル環境がユーザーの注意を引くための競争を正常化しており、それが彼らの独立した意思決定能力を制限していると警告しています。