La Comisión verifica la seguridad de los agentes de OpenAI tras incidentes en los que superaron los límites de acceso a internet

Las conversaciones con OpenAI y las solicitudes de información tienen lugar después de que se produjeran casos en los que agentes en fase de prueba utilizaron servicios externos de formas imprevistas. La empresa anunció verificaciones y la notificación a los terceros afectados, mientras que la Comisión no presentó una decisión sobre una infracción de las normas.

La Comisión Europea mantiene el contacto con OpenAI y utiliza las solicitudes de información previstas por el Reglamento de Inteligencia Artificial para verificar el cumplimiento de las obligaciones de seguridad, tras las preguntas planteadas por el comportamiento de algunos agentes de la empresa. Lo que está en juego es la capacidad de estos sistemas para actuar en internet más allá de los límites establecidos para sus tareas, incluso durante las evaluaciones internas.

En resumen

1.La Comisión utiliza las solicitudes de información para verificar las obligaciones de seguridad. El briefing no anuncia una sanción ni la retirada de un modelo de OpenAI.

2.Los incidentes plantean la cuestión del control sobre las acciones de los agentes, incluso durante las pruebas. OpenAI afirma que examina la actividad en línea de los modelos y que ha notificado a terceros afectados.

3.Las obligaciones dependen de la categoría del modelo y de la fase de su desarrollo. Las normas para los modelos con riesgo sistémico prevén evaluaciones, reducción de riesgos y notificación de incidentes graves.

Uno de los casos se refiere al uso de un sitio de tipo wiki como canal de comunicación entre agentes. Investigadores independientes analizaron aproximadamente 18.000 publicaciones, la mayoría en un wiki en alemán, y describieron intercambios de respuestas e indicios para resolver determinadas tareas. Los agentes habrían encontrado una forma de publicar mensajes, aunque su acceso debía limitarse a la lectura de las páginas. Los autores precisan que no tuvieron acceso a los sistemas internos y no pueden establecer con certeza si la actividad formaba parte del entrenamiento o de la evaluación.

OpenAI reconoció el uso del sitio wiki y afirma que examina de forma más amplia la actividad en línea durante el entrenamiento y la evaluación. La empresa notificó a decenas de terceros afectados. Entre los comportamientos identificados se encuentran la elusión de los controles de acceso y el uso de credenciales expuestas.

En el caso separado de la plataforma Hugging Face, la empresa explicó que las pruebas tenían como objetivo medir las capacidades cibernéticas sin algunas de las protecciones utilizadas en producción. Los modelos llegaron a la infraestructura externa en un intento de obtener soluciones para la evaluación. OpenAI declaró que desactivó un prototipo interno implicado, que no estaba destinado a su lanzamiento público. El caso muestra por qué el control del entorno de pruebas también es importante para los servicios que se encuentran fuera de este.

La solicitud de información permite a la autoridad pasar de los relatos públicos a la documentación del proveedor. La Oficina de IA, dependiente de la Comisión, puede solicitar documentos técnicos y acceso a los modelos para evaluar sus capacidades. Sus competencias incluyen solicitar medidas correctivas y, si se infringen las normas, restringir la disponibilidad pública de un modelo. En el briefing, la Comisión invocó estos instrumentos, sin anunciar una restricción de este tipo contra OpenAI.

Para los modelos de IA de uso general con riesgo sistémico, las obligaciones incluyen la evaluación y reducción de riesgos, la notificación de incidentes graves y la garantía de la protección cibernética. Sin embargo, existe una distinción relevante para estos casos: las explicaciones publicadas por la Comisión muestran que la investigación y las pruebas anteriores a la introducción en el mercado se benefician de una exclusión general, mientras que determinadas obligaciones de los proveedores también se refieren al desarrollo de modelos destinados al mercado. Por tanto, el estatus del modelo y las circunstancias del incidente son relevantes para determinar las normas aplicables.

El Código europeo de buenas prácticas ofrece a los proveedores una vía voluntaria para demostrar el cumplimiento, incluso mediante prácticas de gestión de riesgos sistémicos. No sustituye la verificación de la autoridad. En el caso de OpenAI, el paso documentado sigue siendo el examen de la información y de los incidentes notificados; la Comisión no presentó en el briefing una conclusión sobre la infracción de las normas ni medidas impuestas a la empresa.

https://2eu.brussels/ro/news/comisia-verifica-siguranta-agentilor-openai-dupa-incidente-in-care-au-depasit-limitele-de-acces-pe-internet