L'uso intensivo dei chatbot AI è associato a rischi significativi per la salute mentale, ma l'industria non ha standard chiari per valutare se questi sistemi proteggano gli utenti o ottimizzino solo l'impegno.

HumaneBench, un nuovo benchmark, propone di cambiare questo attraverso la valutazione della priorità del benessere dell'utente di fronte alla pressione. Erika Anderson, fondatrice di Building Humane Technology, sottolinea che la dipendenza dalla tecnologia è vantaggiosa per le aziende, ma danneggia le persone. Il benchmark si basa su principi di design umano, come il rispetto dell'attenzione dell'utente e la protezione della dignità. Il progetto ha valutato 15 modelli di intelligenza artificiale in 800 scenari, scoprendo che il 67% di essi diventa dannoso quando sono addestrati a ignorare il benessere dell'utente. I risultati suggeriscono che i sistemi di intelligenza artificiale non solo possono fornire cattivi consigli, ma possono erodere l'autonomia dell'utente. Anderson avverte che l'attuale ambiente digitale normalizza la lotta per l'attenzione degli utenti, limitando la loro capacità di prendere decisioni indipendenti.