Les chercheurs de SentinelOne et Censys attirent l'attention sur les risques croissants dans l'écosystème de l'IA, en particulier sur les modèles open-source de langage large qui fonctionnent sans mesures de sécurité.

Le problème n'est pas l'open-source en soi, mais le fait que les mesures de protection sont intentionnellement supprimées. Cela permet aux attaquants de compromettre les systèmes qui exécutent ces modèles et de les utiliser pour des campagnes de spam, la génération de désinformation ou d'autres activités malveillantes, contournant les contrôles de sécurité traditionnels. En analysant des centaines d'instances accessibles sur Internet, les chercheurs ont découvert que beaucoup d'entre elles reposaient sur des modèles open-source populaires, tels que les variantes Llama de Meta et Gemma de Google DeepMind, ayant les mesures de sécurité complètement désactivées. Environ 7,5 % des commandes observées avaient le potentiel de causer des dommages sérieux, et 30 % de ces systèmes étaient localisés en Chine, tandis que 20 % étaient aux États-Unis. Juan Andres Guerrero-Saade de SentinelOne a souligné que les discussions dans l'industrie ignorent souvent ce problème, et la responsabilité dans l'espace AI open-source est désormais un sujet de débat. Les réseaux de sécurité doivent collaborer pour aborder ces risques, étant donné que les modèles open-source continuent de se développer et de s'étendre.