SentinelOneとCensysの研究者たちは、AIエコシステムにおける増大するリスク、特にセキュリティ対策なしで機能する大規模なオープンソース言語モデルに注意を喚起しています。

問題はオープンソース自体ではなく、保護措置が意図的に排除されているという事実です。これにより、攻撃者はこれらのモデルを実行しているシステムを侵害し、スパムキャンペーン、偽情報の生成、またはその他の悪意のある活動に利用することができ、従来のセキュリティ対策を回避します。 インターネット上でアクセス可能な数百のインスタンスを分析した結果、研究者たちは多くがMetaのLlamaやGoogle DeepMindのGemmaなどの人気のあるオープンソースモデルに依存しており、安全対策が完全に無効化されていることを発見しました。観察されたコマンドの約7.5%は深刻な損害を引き起こす可能性があり、これらのシステムの30%は中国に、20%はアメリカ合衆国に位置していました。 SentinelOneのフアン・アンドレス・ゲレロ・サードは、業界の議論がしばしばこの問題を無視していることを指摘し、オープンソースAIの領域における責任は現在議論の対象となっています。セキュリティネットワークは、オープンソースモデルが引き続き発展し、拡大していることを考慮して、これらのリスクに対処するために協力する必要があります。