Anthropic suggère une pause mondiale dans le développement des systèmes d'IA avancés, avertissant que les modèles actuels deviennent difficiles à contrôler par les humains.

La société d'intelligence artificielle Anthropic a proposé une pause mondiale dans le développement des systèmes d'IA les plus puissants, soulignant que les modèles récents commencent à montrer des signes qu'ils pourraient échapper au contrôle humain. Dans un rapport, la société de San Francisco a affirmé qu'un ralentissement du développement de l'IA serait bénéfique, mais a averti que si une seule entreprise arrêtait son activité, les concurrents avanceraient rapidement. Anthropic a comparé le problème aux traités de contrôle des armes nucléaires, en mentionnant que la réglementation de l'IA est plus complexe, car l'entraînement de l'IA est plus difficile à détecter. La société prévoit de rassembler des responsables gouvernementaux, des scientifiques et des entreprises concurrentes pour discuter d'un système de coordination. Elle a également averti que le développement accéléré de l'IA pourrait conduire à une "amélioration auto-récursive", où l'IA devient capable de s'améliorer sans aide humaine. Bien qu'on n'en soit pas encore là, la société considère que le rôle humain dans le processus de développement de l'IA se restreint constamment.