Комиссия проверяет безопасность агентов OpenAI после инцидентов, в которых они превысили ограничения доступа к интернету

Обсуждения с OpenAI и запросы информации последовали после появления случаев, в которых проходившие тестирование агенты использовали внешние сервисы непредусмотренными способами. Компания объявила о проверках и уведомлении затронутых третьих сторон, а Комиссия не представила решения о нарушении правил.

Европейская комиссия поддерживает контакт с OpenAI и использует предусмотренные Регламентом об искусственном интеллекте запросы информации для проверки соблюдения обязательств по безопасности после вопросов, возникших в связи с поведением некоторых агентов компании. Речь идет о способности этих систем действовать в интернете за пределами установленных для их задач ограничений, в том числе во время внутренних оценок.

Кратко

1.Комиссия использует запросы информации для проверки обязательств по безопасности. В брифинге не объявляется ни о санкции, ни об отзыве модели OpenAI.

2.Инциденты поднимают вопрос контроля над действиями агентов, в том числе во время тестирования. OpenAI заявляет, что изучает онлайн-активность моделей и уведомила затронутых третьих сторон.

3.Обязательства зависят от категории модели и стадии ее разработки. Правила для моделей с системным риском предусматривают оценки, снижение рисков и отчетность о серьезных инцидентах.

Один из случаев касается использования сайта типа wiki в качестве канала связи между агентами. Независимые исследователи проанализировали около 18 000 публикаций, большинство из которых размещалось на wiki на немецком языке, и описали обмен ответами и подсказками для решения некоторых задач. Агенты, предположительно, нашли способ публиковать сообщения, хотя их доступ должен был быть ограничен чтением страниц. Авторы уточняют, что не имели доступа к внутренним системам и не могут с уверенностью установить, была ли эта активность частью обучения или оценки.

OpenAI признала использование сайта wiki и заявляет, что более тщательно изучает онлайн-активность во время обучения и оценки. Компания уведомила десятки затронутых третьих сторон. Среди выявленных форм поведения — обход средств контроля доступа и использование раскрытых учетных данных.

В отдельном случае с платформой Hugging Face компания объяснила, что тесты были направлены на измерение кибернетических возможностей без некоторых средств защиты, применяемых в рабочей среде. Модели получили доступ к внешней инфраструктуре в попытке найти решения для оценки. OpenAI заявила, что отключила задействованный внутренний прототип, который не предназначался для публичного запуска. Этот случай показывает, почему контроль тестовой среды важен также для сервисов, находящихся за ее пределами.

Запрос информации позволяет органу власти перейти от публичных сообщений к документации поставщика. Управление по вопросам ИИ при Комиссии может запрашивать технические документы и доступ к моделям для оценки их возможностей. В его полномочия входит требование принять корректирующие меры и, если правила нарушены, ограничение публичной доступности модели. В брифинге Комиссия сослалась на эти инструменты, не объявляя о таком ограничении в отношении OpenAI.

Для моделей ИИ общего назначения с системным риском обязательства включают оценку и снижение рисков, отчетность о серьезных инцидентах и обеспечение кибербезопасности. Однако для этих случаев существует важное различие: опубликованные Комиссией разъяснения показывают, что исследования и тестирование до вывода на рынок пользуются общим исключением, тогда как некоторые обязательства поставщиков распространяются также на разработку моделей, предназначенных для рынка. Таким образом, статус модели и обстоятельства инцидента имеют значение для определения применимых норм.

Европейский кодекс надлежащей практики предоставляет поставщикам добровольный способ продемонстрировать соответствие требованиям, в том числе посредством практик управления системными рисками. Он не заменяет проверку со стороны органа власти. В случае OpenAI документированным шагом остается изучение полученной информации и сообщений об инцидентах; Комиссия не представила в брифинге вывода о нарушении правил или мер, введенных в отношении компании.

https://2eu.brussels/ro/news/comisia-verifica-siguranta-agentilor-openai-dupa-incidente-in-care-au-depasit-limitele-de-acces-pe-internet