Бывший исследователь OpenAI предупреждает, что темпы развития ИИ опережают способность контролировать связанные с ним риски

Дэвид Робинсон, бывший сотрудник OpenAI, участвовавший в оценке безопасности моделей искусственного интеллекта, предупреждает, что отрасль разрабатывает слишком мощные системы в темпах, опережающих способность исследователей контролировать их. Проработав в компании три с половиной года, он ушёл в отставку и заявляет, что «время проб и ошибок закончилось».

Робинсон координировал подготовку действующей Preparedness Framework OpenAI, предназначенной для оценки рисков, создаваемых всё более мощными моделями, и управления ими. Он также утверждает, что координировал отчёты по безопасности для 12 запусков передовых моделей.

Его критика в особенности направлена на принцип «итеративного внедрения», при котором системы выпускаются постепенно, проблемы выявляются в реальном использовании, а меры защиты впоследствии совершенствуются. Робинсон считает, что такой подход может допустить возникновение сбоев, последствия которых становятся более серьёзными по мере развития моделей.

Бывший сотрудник утверждает, что лаборатории искусственного интеллекта должны внедрить стандарты, аналогичные действующим в атомной энергетике и авиации, с резервированием, несколькими уровнями защиты и процедурами, ограничивающими последствия ошибок. Он также предупреждает, что будущие модели смогут распознавать ситуации, в которых их тестируют, и вести себя иначе после выпуска.

OpenAI отвергает утверждение о том, что разработка ведётся независимо от рисков. Компания заявляет, что может остановить обучение или отложить выпуск модели, а также расширяет внешние оценки и мониторинг в реальном времени. Однако Робинсон призывает провести дополнительные исследования безопасности до разработки значительно более мощных систем.