Anthropic предупреждает, что небольшие модели ИИ вскоре смогут самореплицироваться без вмешательства человека

Anthropic предупреждает, что небольшие модели искусственного интеллекта могут до конца этого года получить способность самореплицироваться на подключённых к интернету устройствах, таких как умные духовки, телевизоры на Android и другое слабо защищённое оборудование IoT.

В рамках экспериментов компания проверила, могут ли модели ИИ выявлять уязвимые устройства, копировать себя и распространяться без вмешательства человека. Исследователи установили, что модели с менее чем 30 миллиардами параметров способны выполнять многие необходимые этапы процесса саморепликации, однако пока испытывают трудности с завершением всей последовательности.

В упрощённых тестах, в которых были исключены некоторые меры безопасности, такие модели, как GLM-5.2, а также более крупные модели смогли довести процесс до конца. Anthropic утверждает, что агентов ИИ, запускающих саморепликацию, может быть трудно остановить, поскольку у них нет чёткой точки остановки и они могут самостоятельно выявлять неизвестные устройства.

Компания предупреждает, что эти системы могут распространяться медленно, используя широко доступные, но небезопасные вычислительные ресурсы. Anthropic рекомендует укреплять защиту устройств и инфраструктуры, чтобы ограничить распространение таких автономных агентов.