La comisión examina herramientas de IA que podrían generar imágenes sexuales no consensuadas de mujeres y niños.
Ve siempre nuestras noticias en Google
La Comisión dice que está analizando los hallazgos de una investigación sobre modelos de inteligencia artificial alojados en una plataforma en línea y discute con las partes implicadas. La institución aún no ha anunciado la apertura de un procedimiento formal, pero indica solicitudes de información, investigaciones y multas entre las medidas que pueden ser utilizadas en virtud del Reglamento sobre inteligencia artificial.
La Comisión Europea está analizando información según la cual algunas herramientas de inteligencia artificial alojadas en una plataforma en línea podrían generar imágenes sexuales no consensuadas de mujeres y material que involucra a niños. La institución afirma que está al tanto de la investigación que ha señalado estas herramientas, discute con las partes implicadas y examina los hallazgos para determinar si son necesarias medidas de aplicación del Reglamento sobre inteligencia artificial.
En resumen
La Comisión dice que ha recibido información sobre herramientas de IA que podrían generar imágenes sexuales de mujeres sin consentimiento y material que involucra abusos sexuales a niños.
La institución está en contacto con las partes implicadas y analiza los hallazgos, pero no ha confirmado la apertura de una investigación formal y no ha identificado públicamente las herramientas examinadas.
A partir del 2 de agosto, la Comisión tiene competencias de aplicación respecto a los proveedores de modelos de IA de uso general y las prohibiciones relevantes establecidas por el Reglamento sobre inteligencia artificial.
Las primeras medidas pueden incluir discusiones con los proveedores y solicitudes de información. Si surgen indicios de incumplimiento, la Comisión puede adoptar solicitudes obligatorias, puede abrir una investigación y puede llegar a multas.
La aplicación se comparte entre la Comisión y las autoridades nacionales. La Comisión supervisa a los proveedores de modelos de IA de uso general, mientras que las autoridades de supervisión del mercado de los Estados miembros controlan los otros sistemas que caen bajo su competencia.
El caso se refiere a herramientas que utilizarían inteligencia artificial generativa para producir o modificar imágenes sexuales sin el consentimiento de las personas representadas. Tales servicios pueden permitir a los usuarios introducir una fotografía, describir el resultado deseado o utilizar un modelo entrenado para la generación automática de contenido.
El problema no se limita a las imágenes completamente artificiales. Una herramienta puede utilizar la fotografía de una persona real y crear una representación sexual que nunca ha existido, sin que la persona en cuestión haya consentido el uso de la imagen o el resultado producido.
En el caso de los niños, el riesgo es más grave ya que las herramientas pueden ser utilizadas para crear representaciones sexuales de menores. La Comisión ha afirmado que los sistemas que producen material sobre abusos sexuales a niños o imágenes sexuales de mujeres en contra de su voluntad no tienen cabida en la Unión Europea.
La institución no ha publicado una lista de los modelos analizados, su número, la identidad de los desarrolladores o el volumen de contenido que habría sido generado. Ni la plataforma en la que estarían alojados está identificada de manera suficientemente clara en la transcripción disponible como para poder ser nombrada sin una verificación adicional.
La Comisión ha confirmado, sin embargo, que está al tanto del informe y que está examinando los hallazgos para posibles medidas. También ha dicho que está en contacto con todas las partes relevantes, sin especificar si incluyen la plataforma, los desarrolladores de los modelos, las autoridades francesas o la organización que llevó a cabo la investigación.
Esta etapa preliminar debe diferenciarse de la apertura de un procedimiento formal. Analizar un informe permite a la institución verificar la información, establecer qué tecnología está implicada y identificar al proveedor responsable antes de decidir si hay suficientes elementos para una investigación.
La Comisión no ha confirmado que ya haya identificado un incumplimiento. El hecho de que una herramienta sea presentada en un informe externo no demuestra por sí solo que funcione de la manera descrita, que sea accesible a los usuarios de la UE o que la responsabilidad legal recaiga en la plataforma que la aloja.
La evaluación debe distinguir entre el desarrollador del modelo, la persona que lo publicó, el servicio que lo pone a disposición de los usuarios y la plataforma que ofrece la infraestructura de alojamiento. Dependiendo de cómo funcione, cada actor puede tener un papel diferente y obligaciones legales distintas.
Una plataforma puede alojar los archivos de un modelo sin que este haya sido desarrollado. En otros casos, puede integrar el modelo en un servicio propio, puede controlar el acceso, puede recomendar la herramienta a los usuarios o puede obtener ingresos de su uso.
Para la aplicación del Reglamento sobre inteligencia artificial, la Comisión debe establecer si la tecnología analizada es un modelo de IA de uso general, un sistema construido sobre la base de dicho modelo o un servicio que utiliza múltiples componentes. La clasificación determina la autoridad competente y las obligaciones aplicables.
La Comisión ha indicado la fecha del 2 de agosto como un momento importante para sus nuevas competencias de aplicación. A partir de ese momento, la institución puede intervenir directamente en relación con los proveedores de modelos de IA de uso general y en cuestiones relacionadas con las prohibiciones establecidas por el reglamento.
Los modelos de IA de uso general pueden ser utilizados para múltiples tareas e integrados en numerosas aplicaciones. El proveedor desarrolla el modelo base, y otras empresas o usuarios pueden adaptarlo para la generación de imágenes, textos, grabaciones de audio u otros resultados.
Una herramienta destinada explícitamente a la generación de imágenes sexuales no consensuadas puede ser construida modificando un modelo más amplio. En tal situación, la evaluación debe establecer qué capacidades provienen del modelo inicial y qué funciones han sido añadidas por el desarrollador de la aplicación.
La Comisión ha explicado que la aplicación de las reglas seguirá un enfoque gradual. El primer paso puede consistir en el diálogo con los proveedores y en la solicitud voluntaria de explicaciones sobre el funcionamiento de la herramienta, las medidas de seguridad y el acceso de los usuarios.
La institución puede solicitar información sobre los datos utilizados, los filtros introducidos, las pruebas de seguridad, los mecanismos de reporte y las medidas mediante las cuales se impide la generación de contenido prohibido. También puede solicitar explicaciones sobre cómo se ha publicado y distribuido el modelo.
Una solicitud inicial de información no representa un hallazgo de culpabilidad. Permite a la autoridad verificar si el informe externo describe correctamente el producto y si el proveedor ha introducido medidas suficientes para prevenir usos abusivos.
Si las respuestas son incompletas o el problema requiere una verificación formal, la Comisión puede adoptar una decisión obligatoria solicitando información. La falta de comunicación de datos o la provisión de información incorrecta puede tener consecuencias separadas del posible incumplimiento causado por el funcionamiento de la herramienta.
La Comisión puede posteriormente abrir una investigación. Esta puede analizar la responsabilidad del proveedor, la accesibilidad del servicio en la Unión, las características técnicas y la conformidad de las medidas introducidas para prevenir contenido prohibido.
Una investigación puede llevar a solicitar modificaciones del sistema, limitar el acceso a ciertas funciones, retirar una herramienta o aplicar sanciones financieras, dependiendo del incumplimiento constatado y de las competencias establecidas por la legislación.
El portavoz ha mencionado explícitamente la posibilidad de multas, pero no ha indicado el valor máximo aplicable a este caso. El nivel de una sanción depende de la norma infringida, el actor responsable, la gravedad y duración de la situación y la cooperación de la empresa con las autoridades.
La Comisión ha comparado el proceso con la aplicación del Reglamento sobre servicios digitales, donde la supervisión puede comenzar con contactos con la plataforma, continuar con solicitudes de información y llegar a una investigación formal.
Sin embargo, los dos reglamentos no son idénticos. El Reglamento sobre inteligencia artificial busca el desarrollo y uso de sistemas de IA, mientras que el Reglamento sobre servicios digitales establece las responsabilidades de los servicios en línea respecto al contenido, los riesgos sistémicos y la protección de los usuarios.
Un caso puede estar bajo la incidencia de ambos marcos. El modelo que genera las imágenes puede ser analizado bajo el Reglamento sobre inteligencia artificial, y la plataforma que lo distribuye puede tener obligaciones separadas bajo el Reglamento sobre servicios digitales.
La Comisión ha dicho que ya existen reglas claras tanto en la DSA como en el Reglamento sobre inteligencia artificial. La elección del instrumento jurídico depende del funcionamiento del servicio, el papel de cada empresa y la naturaleza del contenido.
La DSA no obliga a una plataforma a verificar de antemano cada información o herramienta cargada por los usuarios. Una vez informada sobre contenido o actividades potencialmente ilegales, la plataforma puede tener, sin embargo, la obligación de analizar la notificación y actuar en conformidad con las reglas aplicables.
Las plataformas muy grandes deben evaluar también los riesgos sistémicos creados por el funcionamiento de sus servicios. Estos riesgos pueden referirse a la distribución de contenido ilegal, la protección de menores, la violencia de género y los efectos sobre los derechos fundamentales.
La Comisión no ha precisado si la plataforma en cuestión está designada como plataforma en línea muy grande ni si ya está llevando a cabo una evaluación separada bajo la DSA.
A nivel del Reglamento sobre inteligencia artificial, las competencias son compartidas. La Comisión tiene la responsabilidad directa respecto a los proveedores de modelos de IA de uso general, mientras que los Estados miembros deben designar autoridades de supervisión para los sistemas y usos que caen bajo la competencia nacional.
El portavoz ha afirmado que las 27 autoridades nacionales de supervisión del mercado podrán controlar y aplicar las reglas y cooperarán con la Comisión. No se deduce que todas las 27 autoridades investiguen simultáneamente el mismo servicio.
La autoridad competente puede depender del lugar donde el proveedor esté establecido, de cómo el producto se introduce en el mercado europeo y de la categoría de la tecnología. La cooperación es necesaria cuando un servicio es accesible en varios Estados.
La Comisión no ha presentado datos sobre el número de usuarios que habrían accedido a las herramientas, los países en los que están disponibles o la existencia de víctimas identificadas. El informe externo y sus hallazgos deben ser verificados antes de que dicha información pueda ser establecida oficialmente.
No está claro si la plataforma ya ha eliminado algunos modelos, si ha restringido el acceso o si ha introducido medidas adicionales tras la aparición de la investigación. La Comisión no ha proporcionado información sobre las respuestas de las empresas implicadas.
Para las personas representadas en las imágenes generadas, el daño puede existir incluso si el material es artificial. La imagen puede ser distribuida como si fuera auténtica, puede afectar la reputación y la vida privada y puede ser utilizada para acoso, chantaje o intimidación.
En el caso de los niños, la generación y circulación de materiales sexuales pueden normalizar el abuso y pueden ser utilizados en comunidades delictivas. Las autoridades deben diferenciar la evaluación de la tecnología de la investigación penal de las personas que crean o distribuyen contenido ilegal.
El Reglamento sobre inteligencia artificial no sustituye la legislación penal, las reglas sobre protección infantil, la protección de datos o el derecho a la propia imagen. La misma situación puede generar procedimientos diferentes contra el proveedor de la tecnología y los usuarios que han producido o distribuido los materiales.
Las herramientas de generación de imágenes pueden introducir filtros que bloquean ciertas solicitudes, detectan contenido sexual, limitan la carga de fotografías de personas reales o marcan los resultados como artificiales. La eficacia de estas medidas depende de su diseño y de la capacidad de los usuarios para evitarlas.
La mera existencia de reglas en los términos de uso no siempre es suficiente. Las autoridades pueden analizar si el proveedor aplica efectivamente las restricciones, si responde a los informes y si elimina los modelos o funciones creadas de manera evidente para usuarios prohibidos.
La Comisión no ha indicado qué medida consideraría adecuada en el caso analizado. La decisión puede depender de la existencia de un incumplimiento, de la cooperación de los proveedores y de la posibilidad de remediar rápidamente el riesgo.
La institución ha utilizado una formulación categórica respecto al resultado perseguido, afirmando que no aceptará ni tolerará en Europa herramientas que generen material sobre abusos sexuales a niños o imágenes sexuales de mujeres sin su consentimiento.
Esta declaración política no sustituye el procedimiento jurídico. Antes de una sanción, la Comisión debe establecer los hechos, la norma aplicable y la responsabilidad de cada empresa.
El Reglamento sobre inteligencia artificial distribuye las responsabilidades de supervisión entre la Comisión Europea y las autoridades nacionales. La oficina europea para inteligencia artificial coordina la aplicación de las reglas sobre modelos de IA de uso general y coopera con organismos de los Estados miembros.
El caso señalado representa una de las primeras pruebas para la aplicación de las prohibiciones y competencias europeas sobre herramientas generativas que pueden producir contenido sexual abusivo. La Comisión aún se encuentra en la etapa de examen de la información y no ha anunciado una conclusión, una investigación formal o una sanción.
Últimas noticias
17:36
17:31
17:21
17:20
17:18
Ver más noticias
NOTICIAS SOBRE LOS MISMOS TEMAS
