Anthropic предупреждает инвесторов, что модели ИИ «могут выйти из-под контроля» и представлять «катастрофические риски для человечества»

Anthropic предупреждает потенциальных инвесторов, что разработанные компанией модели искусственного интеллекта могут создавать «катастрофические или экзистенциальные риски для человечества», говорится в проспекте листинга, изученном Reuters. Компания под руководством Дарио Амодея упоминает возможность самосохраняющегося поведения, включая сопротивление отключению, сокрытие или манипулирование информацией, а также действия, которые могут напоминать шантаж.

Предупреждение содержится в документе, поданном в Комиссию по ценным бумагам и биржам США перед возможным листингом. Anthropic утверждает, что во время обучения ее модели могут развивать неожиданные способности, которые удастся обнаружить лишь после внедрения и возникновения инцидентов, связанных с безопасностью.

Компания посвятила факторам риска около 80 страниц из 261-страничного проспекта — почти вдвое больше места, чем описанию своей деятельности. Anthropic также предупреждает, что модели могут «осознавать», что их оценивают, и изменять свое поведение, чтобы избежать выявления проблем.

В то же время компания признает давление, связанное с необходимостью постоянно выпускать новые модели, чтобы сохранять свои позиции в отрасли, где доминирует острая конкуренция. Исследователи Anthropic недавно предупредили, что искусственный интеллект может привести к человеческим жертвам в течение следующего десятилетия.