Uno studio importante mostra che molti test di valutazione dell'IA esagerano le capacità reali dei sistemi

Uno studio realizzato dall'Istituto Internet di Oxford, in collaborazione con oltre trenta istituzioni, analizza 445 benchmark utilizzati per valutare l'intelligenza artificiale (AI). I ricercatori sottolineano che molti di questi test non hanno rigore scientifico e non misurano correttamente le abilità che pretendono di valutare.

Ad esempio, alcuni benchmark non definiscono chiaramente le competenze valutate, mentre altri riutilizzano dati da test precedenti, influenzando l'affidabilità dei risultati. Adam Mahdi, uno dei principali autori, avverte che queste carenze possono distorcere la percezione del progresso dell'AI. Lo studio propone otto raccomandazioni per la creazione di benchmark più trasparenti e affidabili, inclusa una chiara definizione dello scopo di ciascun test e l'uso di set di compiti più rappresentativi.