Комиссия рассматривает инструменты ИИ, которые могут генерировать сексуальные изображения без согласия женщин и детей

Комиссия сообщает, что анализирует выводы расследования по моделям искусственного интеллекта, размещенным на онлайн-платформе, и обсуждает с заинтересованными сторонами. Учреждение еще не объявило о начале формальной процедуры, но указывает на запросы информации, расследования и штрафы среди мер, которые могут быть использованы на основании Регламента об искусственном интеллекте.

Европейская комиссия анализирует информацию о том, что некоторые инструменты искусственного интеллекта, размещенные на онлайн-платформе, могут генерировать сексуальные изображения без согласия женщин и материалы, касающиеся детей. Учреждение утверждает, что осведомлено о расследовании, которое сигнализировало о этих инструментах, обсуждает с заинтересованными сторонами и изучает выводы, чтобы определить, необходимы ли меры по применению Регламента об искусственном интеллекте.

Кратко

Комиссия сообщает, что получила информацию о инструментах ИИ, которые могут генерировать сексуальные изображения женщин без их согласия и материалы, касающиеся сексуального насилия над детьми.

Учреждение находится в контакте с заинтересованными сторонами и анализирует выводы, но не подтвердило начало формального расследования и не идентифицировало публично проверяемые инструменты.

Начиная с 2 августа, Комиссия обладает полномочиями по применению в отношении поставщиков моделей ИИ общего назначения и соответствующих запретов, предусмотренных Регламентом об искусственном интеллекте.

Первоначальные меры могут включать обсуждения с поставщиками и запросы информации. Если появятся признаки нарушения, Комиссия может принять обязательные запросы, открыть расследование и наложить штрафы.

Применение осуществляется совместно между Комиссией и национальными властями. Комиссия контролирует поставщиков моделей ИИ общего назначения, а органы надзора за рынком в государствах-членах контролируют другие системы, которые подпадают под их юрисдикцию.

Дело касается инструментов, которые могут использовать генеративный искусственный интеллект для создания или изменения сексуальных изображений без согласия изображаемых лиц. Такие услуги могут позволить пользователям загрузить фотографию, описать желаемый результат или использовать обученную модель для автоматической генерации контента.

Проблема не ограничивается полностью искусственными изображениями. Инструмент может использовать фотографию реального человека и создать сексуальное представление, которое никогда не существовало, без согласия этого человека на использование изображения или на полученный результат.

В случае с детьми риск более серьезен, поскольку инструменты могут быть использованы для создания сексуальных представлений несовершеннолетних. Комиссия заявила, что системы, которые производят материалы о сексуальном насилии над детьми или сексуальные изображения женщин против их воли, не имеют места в Европейском Союзе.

Учреждение не опубликовало список анализируемых моделей, их количество, идентичность разработчиков или объем контента, который мог быть сгенерирован. Также платформа, на которой они могли бы быть размещены, не идентифицирована достаточно четко в доступной транскрипции, чтобы ее можно было назвать без дополнительной проверки.

Тем не менее, Комиссия подтвердила, что осведомлена о докладе и что изучает выводы для возможных мер. Она также заявила, что находится в контакте со всеми заинтересованными сторонами, не уточняя, включают ли они платформу, разработчиков моделей, французские власти или организацию, которая провела расследование.

Этап предварительного анализа должен быть отличен от открытия формальной процедуры. Анализ отчета позволяет учреждению проверить информацию, установить, какая технология вовлечена, и идентифицировать ответственного поставщика перед тем, как решить, существуют ли достаточные элементы для расследования.

Комиссия не подтвердила, что уже идентифицировала нарушение. Тот факт, что инструмент представлен в внешнем отчете, не доказывает само по себе, что он функционирует описанным образом, что он доступен пользователям из ЕС или что юридическая ответственность лежит на платформе, которая его размещает.

Оценка должна различать между разработчиком модели, лицом, которое ее опубликовало, службой, которая предоставляет ее пользователям, и платформой, которая предлагает инфраструктуру для размещения. В зависимости от способа функционирования каждый участник может иметь различную роль и отдельные юридические обязательства.

Платформа может размещать файлы модели, не будучи ее разработчиком. В других случаях она может интегрировать модель в собственный сервис, контролировать доступ, рекомендовать инструмент пользователям или получать доход от его использования.

Для применения Регламента об искусственном интеллекте Комиссия должна установить, является ли анализируемая технология моделью ИИ общего назначения, системой, построенной на основе такой модели, или сервисом, использующим несколько компонентов. Классификация определяет компетентный орган и применимые обязательства.

Комиссия указала дату 2 августа как важный момент для своих новых полномочий по применению. С этого момента учреждение может напрямую вмешиваться в отношения с поставщиками моделей ИИ общего назначения и по вопросам, связанным с запретами, предусмотренными регламентом.

Модели ИИ общего назначения могут использоваться для множества задач и интегрироваться в различные приложения. Поставщик разрабатывает базовую модель, а другие компании или пользователи могут адаптировать ее для генерации изображений, текстов, аудиозаписей или других результатов.

Инструмент, предназначенный явно для генерации сексуальных изображений без согласия, может быть построен путем модификации более широкой модели. В такой ситуации оценка должна установить, какие возможности происходят от первоначальной модели и какие функции были добавлены разработчиком приложения.

Комиссия объяснила, что применение правил будет следовать поэтапному подходу. Первый шаг может заключаться в диалоге с поставщиками и в добровольном запросе объяснений о функционировании инструмента, мерах безопасности и доступе пользователей.

Учреждение может запрашивать информацию о используемых данных, введенных фильтрах, тестах безопасности, механизмах отчетности и мерах, предотвращающих генерацию запрещенного контента. Оно также может запрашивать объяснения о том, как модель была опубликована и распространена.

Первоначальный запрос информации не является признанием вины. Он позволяет органу проверить, правильно ли внешний отчет описывает продукт и были ли введены поставщиком достаточные меры для предотвращения злоупотреблений.

Если ответы неполные или проблема требует формальной проверки, Комиссия может принять обязательное решение, требующее предоставления информации. Непредоставление данных или предоставление неверной информации может иметь последствия, отличные от возможного нарушения, вызванного функционированием инструмента.

Комиссия может впоследствии открыть расследование. Оно может проанализировать ответственность поставщика, доступность услуги в Союзе, технические характеристики и соответствие введенных мер для предотвращения запрещенного контента.

Расследование может привести к запросу изменений в системе, ограничению доступа к определенным функциям, отзыву инструмента или применению финансовых санкций, в зависимости от установленного нарушения и полномочий, предусмотренных законодательством.

Пресс-секретарь явно упомянул возможность штрафов, но не указал максимальную сумму, применимую в этом случае. Уровень санкции зависит от нарушенной нормы, ответственного лица, серьезности и продолжительности ситуации, а также от сотрудничества компании с властями.

Комиссия сравнила процесс с применением Регламента о цифровых услугах, где надзор может начинаться с контактов с платформой, продолжаться запросами информации и доходить до формального расследования.

Тем не менее, эти два регламента не идентичны. Регламент об искусственном интеллекте направлен на развитие и использование систем ИИ, в то время как Регламент о цифровых услугах устанавливает ответственность онлайн-сервисов за контент, системные риски и защиту пользователей.

Дело может подпадать под действие обеих рамок. Модель, генерирующая изображения, может быть проанализирована в соответствии с Регламентом об искусственном интеллекте, а платформа, которая ее распространяет, может иметь отдельные обязательства на основании Регламента о цифровых услугах.

Комиссия заявила, что уже существуют четкие правила как в DSA, так и в Регламенте об искусственном интеллекте. Выбор юридического инструмента зависит от функционирования услуги, роли каждой компании и природы контента.

DSA не обязывает платформу проверять заранее каждую информацию или инструмент, загруженный пользователями. Как только она информирована о потенциально незаконном контенте или действиях, платформа может иметь обязанность проанализировать уведомление и действовать в соответствии с применимыми правилами.

Очень крупные платформы должны оценивать и системные риски, создаваемые функционированием их услуг. Эти риски могут касаться распространения незаконного контента, защиты несовершеннолетних, насилия на почве пола и последствий для основных прав.

Комиссия не уточнила, является ли целевая платформа обозначенной как очень крупная онлайн-платформа, и не сообщила, проводит ли она уже отдельную оценку в соответствии с DSA.

На уровне Регламента об искусственном интеллекте полномочия ограничены. Комиссия несет прямую ответственность за поставщиков моделей ИИ общего назначения, в то время как государства-члены должны назначить органы надзора для систем и применений, находящихся в их национальной юрисдикции.

Пресс-секретарь заявил, что 27 национальных органов надзора за рынком смогут контролировать и применять правила и будут сотрудничать с Комиссией. Не следует предполагать, что все 27 органов будут одновременно расследовать одну и ту же услугу.

Компетентный орган может зависеть от места, где расположен поставщик, от того, как продукт вводится на европейский рынок, и от категории технологии. Сотрудничество необходимо, когда услуга доступна в нескольких государствах.

Комиссия не представила данные о количестве пользователей, которые могли бы получить доступ к инструментам, странах, в которых они доступны, или наличии идентифицированных жертв. Внешний отчет и его выводы должны быть проверены, прежде чем такая информация может быть официально установлена.

Неясно также, удаляла ли платформа уже некоторые модели, ограничивала ли доступ или вводила ли дополнительные меры после начала расследования. Комиссия не предоставила информацию о ответах вовлеченных компаний.

Для лиц, изображенных на сгенерированных изображениях, ущерб может существовать даже если материал является искусственным. Изображение может распространяться так, как будто оно является подлинным, может повлиять на репутацию и частную жизнь и может быть использовано для преследования, шантажа или запугивания.

В случае с детьми генерация и распространение сексуальных материалов могут нормализовать насилие и могут быть использованы в преступных сообществах. Власти должны различать оценку технологии и уголовное расследование лиц, создающих или распространяющих незаконный контент.

Регламент об искусственном интеллекте не заменяет уголовное законодательство, правила защиты детей, защиту данных или право на собственное изображение. Одна и та же ситуация может порождать различные процедуры против поставщика технологии и пользователей, которые создали или распространили материалы.

Инструменты генерации изображений могут вводить фильтры, которые блокируют определенные запросы, обнаруживают сексуальный контент, ограничивают загрузку фотографий с реальными людьми или помечают результаты как искусственные. Эффективность этих мер зависит от их проектирования и возможности пользователей их избегать.

Простое наличие правил в условиях использования не всегда достаточно. Власти могут анализировать, действительно ли поставщик применяет ограничения, реагирует ли он на уведомления и удаляет ли модели или функции, созданные явно для запрещенных пользователей.

Комиссия не указала, какую меру она сочтет подходящей в рассматриваемом случае. Решение может зависеть от наличия нарушения, сотрудничества поставщиков и возможности быстрого устранения риска.

Учреждение использовало категорическую формулировку относительно желаемого результата, заявив, что не примет и не будет терпеть в Европе инструменты, которые генерируют материалы о сексуальном насилии над детьми или сексуальные изображения женщин без их согласия.

Это политическое заявление не заменяет юридическую процедуру. Прежде чем наложить санкцию, Комиссия должна установить факты, применимую норму и ответственность каждой компании.

Регламент об искусственном интеллекте распределяет обязанности по надзору между Европейской комиссией и национальными органами. Европейское бюро по искусственному интеллекту координирует применение правил в отношении моделей ИИ общего назначения и сотрудничает с органами в государствах-членах.

Дело, о котором идет речь, представляет собой одно из первых испытаний для применения запретов и европейских полномочий в отношении генеративных инструментов, которые могут производить сексуально абьюзивный контент. Комиссия все еще находится на этапе изучения информации и не объявила о выводах, формальном расследовании или санкциях.

https://2eu.brussels/ro/news/comisia-examineaza-instrumente-ai-care-ar-putea-genera-imagini-sexuale-neconsensuale-cu-femei-si-copii