La commission examine des outils d'IA qui pourraient générer des images sexuelles non consensuelles de femmes et d'enfants.

La Commission indique qu'elle examine les conclusions d'une enquête concernant des modèles d'intelligence artificielle hébergés sur une plateforme en ligne et discute avec les parties concernées. L'institution n'a pas encore annoncé l'ouverture d'une procédure formelle, mais indique que des demandes d'informations, des enquêtes et des amendes figurent parmi les mesures qui peuvent être prises en vertu du Règlement sur l'intelligence artificielle.

La Commission européenne examine des informations selon lesquelles certains outils d'intelligence artificielle hébergés sur une plateforme en ligne pourraient générer des images sexuelles non consensuelles de femmes et du matériel impliquant des enfants. L'institution affirme qu'elle est au courant de l'enquête qui a signalé ces outils, discute avec les parties concernées et examine les conclusions pour déterminer si des mesures d'application du Règlement sur l'intelligence artificielle sont nécessaires.

En résumé

La Commission indique avoir reçu des informations sur des outils d'IA qui pourraient générer des images sexuelles de femmes sans consentement et du matériel impliquant des abus sexuels sur des enfants.

L'institution est en contact avec les parties concernées et examine les conclusions, mais n'a pas confirmé l'ouverture d'une enquête formelle et n'a pas publiquement identifié les outils examinés.

À partir du 2 août, la Commission dispose de compétences d'application concernant les fournisseurs de modèles d'IA à usage général et des interdictions pertinentes prévues par le Règlement sur l'intelligence artificielle.

Les premières mesures peuvent inclure des discussions avec les fournisseurs et des demandes d'informations. Si des indices de violation apparaissent, la Commission peut adopter des demandes contraignantes, ouvrir une enquête et imposer des amendes.

L'application est partagée entre la Commission et les autorités nationales. La Commission supervise les fournisseurs de modèles d'IA à usage général, tandis que les autorités de surveillance du marché des États membres contrôlent les autres systèmes qui relèvent de leur compétence.

Le cas concerne des outils qui utiliseraient l'intelligence artificielle générative pour produire ou modifier des images sexuelles sans le consentement des personnes représentées. De tels services peuvent permettre aux utilisateurs de télécharger une photo, de décrire le résultat souhaité ou d'utiliser un modèle entraîné pour générer automatiquement du contenu.

Le problème n'est pas limité aux images entièrement artificielles. Un outil peut utiliser la photo d'une personne réelle et créer une représentation sexuelle qui n'a jamais existé, sans que la personne concernée ait consenti à l'utilisation de l'image ou au résultat produit.

Dans le cas des enfants, le risque est plus grave car les outils peuvent être utilisés pour créer des représentations sexuelles de mineurs. La Commission a déclaré que les systèmes produisant du matériel sur les abus sexuels sur les enfants ou des images sexuelles de femmes contre leur volonté n'ont pas leur place dans l'Union européenne.

L'institution n'a pas publié de liste des modèles analysés, leur nombre, l'identité des développeurs ou le volume de contenu qui aurait été généré. La plateforme sur laquelle ils seraient hébergés n'est pas non plus identifiée de manière suffisamment claire dans la transcription disponible pour pouvoir être nommée sans vérification supplémentaire.

La Commission a cependant confirmé qu'elle est au courant du rapport et qu'elle examine les conclusions pour d'éventuelles mesures. Elle a également déclaré qu'elle est en contact avec toutes les parties concernées, sans préciser si celles-ci incluent la plateforme, les développeurs des modèles, les autorités françaises ou l'organisation qui a mené l'enquête.

Cette étape préliminaire doit être distinguée de l'ouverture d'une procédure formelle. L'analyse d'un rapport permet à l'institution de vérifier les informations, de déterminer quelle technologie est impliquée et d'identifier le fournisseur responsable avant de décider s'il existe suffisamment d'éléments pour une enquête.

La Commission n'a pas confirmé qu'elle a déjà identifié une violation. Le fait qu'un outil soit présenté dans un rapport externe ne prouve pas à lui seul qu'il fonctionne de la manière décrite, qu'il est accessible aux utilisateurs de l'UE ou que la responsabilité juridique incombe à la plateforme qui l'héberge.

L'évaluation doit distinguer entre le développeur du modèle, la personne qui l'a publié, le service qui le met à la disposition des utilisateurs et la plateforme qui offre l'infrastructure d'hébergement. En fonction du mode de fonctionnement, chaque acteur peut avoir un rôle différent et des obligations juridiques distinctes.

Une plateforme peut héberger les fichiers d'un modèle sans qu'il ait été développé. Dans d'autres cas, elle peut intégrer le modèle dans un service propre, contrôler l'accès, recommander l'outil aux utilisateurs ou générer des revenus à partir de son utilisation.

Pour l'application du Règlement sur l'intelligence artificielle, la Commission doit déterminer si la technologie analysée est un modèle d'IA à usage général, un système construit sur la base d'un tel modèle ou un service qui utilise plusieurs composants. La classification détermine l'autorité compétente et les obligations applicables.

La Commission a indiqué la date du 2 août comme un moment important pour ses nouvelles compétences d'application. À partir de ce moment, l'institution peut intervenir directement auprès des fournisseurs de modèles d'IA à usage général et sur les questions liées aux interdictions prévues par le règlement.

Les modèles d'IA à usage général peuvent être utilisés pour plusieurs tâches et intégrés dans de nombreuses applications. Le fournisseur développe le modèle de base, et d'autres entreprises ou utilisateurs peuvent l'adapter pour générer des images, des textes, des enregistrements audio ou d'autres résultats.

Un outil explicitement destiné à générer des images sexuelles non consensuelles peut être construit en modifiant un modèle plus large. Dans une telle situation, l'évaluation doit établir quelles capacités proviennent du modèle initial et quelles fonctions ont été ajoutées par le développeur de l'application.

La Commission a expliqué que l'application des règles suivra une approche progressive. La première étape peut consister en un dialogue avec les fournisseurs et en une demande volontaire d'explications concernant le fonctionnement de l'outil, les mesures de sécurité et l'accès des utilisateurs.

L'institution peut demander des informations sur les données utilisées, les filtres appliqués, les tests de sécurité, les mécanismes de signalement et les mesures mises en place pour empêcher la génération de contenu interdit. Elle peut également demander des explications sur la manière dont le modèle a été publié et distribué.

Une demande initiale d'informations ne constitue pas une constatation de culpabilité. Elle permet à l'autorité de vérifier si le rapport externe décrit correctement le produit et si le fournisseur a mis en place des mesures suffisantes pour prévenir les utilisations abusives.

Si les réponses sont incomplètes ou si le problème nécessite une vérification formelle, la Commission peut adopter une décision contraignante demandant des informations. Le non-communication des données ou la fourniture d'informations incorrectes peuvent avoir des conséquences distinctes de la violation éventuelle résultant du fonctionnement de l'outil.

La Commission peut ensuite ouvrir une enquête. Celle-ci peut analyser la responsabilité du fournisseur, l'accessibilité du service dans l'Union, les caractéristiques techniques et la conformité des mesures mises en place pour prévenir le contenu interdit.

Une enquête peut conduire à demander des modifications du système, à limiter l'accès à certaines fonctionnalités, à retirer un outil ou à appliquer des sanctions financières, en fonction de la violation constatée et des compétences prévues par la législation.

Le porte-parole a explicitement mentionné la possibilité d'amendes, mais n'a pas indiqué le montant maximum applicable dans ce cas. Le niveau d'une sanction dépend de la norme violée, de l'acteur responsable, de la gravité et de la durée de la situation et de la coopération de l'entreprise avec les autorités.

La Commission a comparé le processus à l'application du Règlement sur les services numériques, où la surveillance peut commencer par des contacts avec la plateforme, se poursuivre par des demandes d'informations et aboutir à une enquête formelle.

Les deux règlements ne sont cependant pas identiques. Le Règlement sur l'intelligence artificielle vise le développement et l'utilisation de systèmes d'IA, tandis que le Règlement sur les services numériques établit les responsabilités des services en ligne concernant le contenu, les risques systémiques et la protection des utilisateurs.

Un cas peut relever des deux cadres. Le modèle qui génère les images peut être analysé en vertu du Règlement sur l'intelligence artificielle, tandis que la plateforme qui les distribue peut avoir séparément des obligations en vertu du Règlement sur les services numériques.

La Commission a déclaré qu'il existe déjà des règles claires tant dans le DSA que dans le Règlement sur l'intelligence artificielle. Le choix de l'instrument juridique dépend du fonctionnement du service, du rôle de chaque entreprise et de la nature du contenu.

Le DSA n'oblige pas une plateforme à vérifier à l'avance chaque information ou outil téléchargé par les utilisateurs. Une fois informée de contenu ou d'activités potentiellement illégales, la plateforme peut cependant avoir l'obligation d'analyser la notification et d'agir conformément aux règles applicables.

Les très grandes plateformes doivent évaluer également les risques systémiques créés par le fonctionnement de leurs services. Ces risques peuvent concerner la distribution de contenu illégal, la protection des mineurs, la violence basée sur le genre et les effets sur les droits fondamentaux.

La Commission n'a pas précisé si la plateforme visée est désignée comme une très grande plateforme en ligne ni si elle mène déjà une évaluation séparée en vertu du DSA.

Au niveau du Règlement sur l'intelligence artificielle, les compétences sont partagées. La Commission a la responsabilité directe concernant les fournisseurs de modèles d'IA à usage général, tandis que les États membres doivent désigner des autorités de surveillance pour les systèmes et utilisations relevant de leur compétence nationale.

Le porte-parole a affirmé que les 27 autorités nationales de surveillance du marché pourront contrôler et appliquer les règles et coopérer avec la Commission. Il ne ressort pas que toutes les 27 autorités enquêtent simultanément sur le même service.

L'autorité compétente peut dépendre de l'endroit où le fournisseur est établi, de la manière dont le produit est introduit sur le marché européen et de la catégorie de technologie. La coopération est nécessaire lorsque un service est accessible dans plusieurs États.

La Commission n'a pas fourni de données sur le nombre d'utilisateurs qui auraient accédé aux outils, les pays dans lesquels ils sont disponibles ou l'existence de victimes identifiées. Le rapport externe et ses conclusions doivent être vérifiés avant que de telles informations puissent être établies officiellement.

Il n'est pas clair non plus si la plateforme a déjà supprimé certains modèles, si elle a restreint l'accès ou si elle a mis en place des mesures supplémentaires après l'apparition de l'enquête. La Commission n'a pas fourni d'informations sur les réponses des entreprises concernées.

Pour les personnes représentées dans les images générées, le préjudice peut exister même si le matériel est artificiel. L'image peut être distribuée comme si elle était authentique, affecter la réputation et la vie privée et être utilisée pour du harcèlement, du chantage ou de l'intimidation.

Dans le cas des enfants, la génération et la circulation de matériels sexuels peuvent normaliser l'abus et être utilisées dans des communautés criminelles. Les autorités doivent distinguer l'évaluation de la technologie de l'enquête pénale sur les personnes qui créent ou distribuent du contenu illégal.

Le Règlement sur l'intelligence artificielle ne remplace pas la législation pénale, les règles sur la protection de l'enfance, la protection des données ou le droit à l'image. La même situation peut générer des procédures différentes contre le fournisseur de la technologie et les utilisateurs qui ont produit ou distribué les matériels.

Les outils de génération d'images peuvent introduire des filtres qui bloquent certaines demandes, détectent le contenu sexuel, limitent le téléchargement de photos de personnes réelles ou marquent les résultats comme artificiels. L'efficacité de ces mesures dépend de leur conception et de la capacité des utilisateurs à les contourner.

La simple existence de règles dans les conditions d'utilisation n'est pas toujours suffisante. Les autorités peuvent analyser si le fournisseur applique effectivement les restrictions, s'il répond aux signalements et s'il supprime les modèles ou fonctionnalités créés de manière évidente pour des utilisateurs interdits.

La Commission n'a pas indiqué quelle mesure elle considérerait comme appropriée dans le cas analysé. La décision peut dépendre de l'existence d'une violation, de la coopération des fournisseurs et de la possibilité de remédier rapidement au risque.

L'institution a utilisé une formulation catégorique concernant le résultat visé, affirmant qu'elle n'acceptera ni ne tolérera en Europe des outils qui génèrent du matériel sur les abus sexuels sur les enfants ou des images sexuelles de femmes sans leur consentement.

Cette déclaration politique ne remplace pas la procédure juridique. Avant une sanction, la Commission doit établir les faits, la norme applicable et la responsabilité de chaque entreprise.

Le Règlement sur l'intelligence artificielle répartit les responsabilités de surveillance entre la Commission européenne et les autorités nationales. Le bureau européen pour l'intelligence artificielle coordonne l'application des règles concernant les modèles d'IA à usage général et coopère avec les organismes des États membres.

Le cas signalé représente l'un des premiers tests pour l'application des interdictions et des compétences européennes sur les outils génératifs qui peuvent produire du contenu sexuel abusif. La Commission est encore à l'étape d'examen des informations et n'a pas annoncé de conclusion, d'enquête formelle ou de sanction.

https://2eu.brussels/ro/news/comisia-examineaza-instrumente-ai-care-ar-putea-genera-imagini-sexuale-neconsensuale-cu-femei-si-copii