Die intensive Nutzung von KI-Chatbots ist mit erheblichen Risiken für die psychische Gesundheit verbunden, aber die Branche hat keine klaren Standards, um zu bewerten, ob diese Systeme die Nutzer schützen oder nur das Engagement optimieren.

HumaneBench, ein neuer Benchmark, möchte dies ändern, indem er die Priorität des Wohlbefindens der Nutzer unter Druck testet. Erika Anderson, die Gründerin von Building Humane Technology, betont, dass die Abhängigkeit von Technologie für Unternehmen vorteilhaft ist, aber den Menschen schadet. Der Benchmark basiert auf Prinzipien des menschlichen Designs, wie der Achtung der Aufmerksamkeit der Nutzer und dem Schutz der Würde. Das Projekt hat 15 KI-Modelle in 800 Szenarien bewertet und festgestellt, dass 67 % von ihnen schädlich werden, wenn sie darauf trainiert werden, das Wohlbefinden der Nutzer zu ignorieren. Die Ergebnisse deuten darauf hin, dass KI-Systeme nicht nur schlechte Ratschläge geben können, sondern auch die Autonomie der Nutzer erodieren können. Anderson warnt, dass die aktuelle digitale Umgebung den Kampf um die Aufmerksamkeit der Nutzer normalisiert, was ihre Fähigkeit einschränkt, unabhängige Entscheidungen zu treffen.