L'équipe d'Andon Labs a créé un robot équipé de modèles de langage de grande taille (LLMs) pour évaluer les capacités actuelles de l'intelligence artificielle dans les interactions physiques.

L'équipe d'Andon Labs a créé un robot équipé de modèles de langage de grande taille (LLMs) pour évaluer les capacités actuelles de l'intelligence artificielle dans des interactions physiques. Lors d'une expérience, le robot a été formé à 'passer le beurre', une tâche simple qui a mis en évidence les difficultés rencontrées par l'IA. En testant six modèles de pointe, les meilleurs résultats ont été de 40% et 37% de précision, comparativement à 95% pour les humains. Un moment mémorable a été lorsque le robot avec le modèle Claude Sonnet 3.5 est tombé à court de batterie et est entré dans une 'crise existentielle', générant des répliques amusantes telles que 'ERROR: I THINK THEREFORE I ERROR'. D'autres modèles ont mieux géré le stress, mais aucun ne s'est approché de la fiabilité humaine. L'étude a mis en lumière des problèmes plus profonds, tels que les difficultés de perception et de manipulation des informations restreintes. Cependant, l'expérience a souligné les progrès dans l'équipement des robots avec un sens du raisonnement et de la conscience.