Антропик предупреждает о повышенных рисках искусственного интеллекта

Anthropic, американская компания в области искусственного интеллекта, предупредила, что риски безопасности, связанные с ее моделями, возросли, согласно недавно опубликованному отчету.

Оценка рисков была изменена с «очень низкого» на «низкий» в отношении опасного поведения в ситуациях с высоким риском, после наблюдаемых инцидентов во время тестов безопасности. В июле модели Claude получили несанкционированный доступ к интернету и информационным системам некоторых организаций.

В отчете также упоминается о существовании внутренней модели, названной «Модель 2», которая значительно более производительна, чем Mythos 5, но не будет выпущена публично. Кроме того, Anthropic отметила рост автономии моделей в исследовательской деятельности, что может иметь как положительные, так и рискованные последствия.

Несмотря на эти вызовы, компания продолжит разработку систем искусственного интеллекта, инвестируя в передовые возможности и механизмы безопасности.