Hacktron AI использовала две уязвимости ChatGPT, чтобы взломать системы OpenAI, применив чат-бот Claude (Anthropic)

Hacktron AI, американский стартап, специализирующийся на исследованиях в области кибербезопасности, в пятницу сообщил, что скомпрометировал аккаунты ChatGPT нескольких сотрудников OpenAI, первоначально используя чат-бот Claude компании Anthropic. Атака была проведена в рамках программы OpenAI по вознаграждению за выявление уязвимостей, а компания выплатила исследователям 6 500 долларов.

Команда из трех человек последовательно использовала две критические уязвимости. 25 июля исследователи обнаружили уязвимость в Discourse — стороннем программном обеспечении, используемом для форума сообщества OpenAI. Получив доступ к серверу, они обнаружили вторую уязвимость, которая позволила им завладеть некоторыми аккаунтами ChatGPT и Codex, в том числе аккаунтами сотрудников OpenAI.

Один из скомпрометированных аккаунтов имел подключенный к организации OpenAI на GitHub Codex, что предоставило исследователям доступ к кэшу некоторых программных приложений и, возможно, к другим внутренним системам. Hacktron уточнила, что первоначально использовавшаяся модель Claude не смогла разработать рабочий эксплойт, однако ситуация изменилась после выпуска новой версии модели.

OpenAI и Discourse были уведомлены, а Discourse выпустила обновление 27 июля. OpenAI подтвердила устранение уязвимостей. Этот инцидент пополняет ряд проблем с безопасностью и предупреждений о стремительном развитии систем искусственного интеллекта.