委員会は、女性や子供の同意のない性的画像を生成する可能性のあるAIツールを検討しています。

委員会は、オンラインプラットフォーム上でホストされている人工知能モデルに関する調査結果を分析し、関係者と話し合っていると述べています。機関はまだ正式な手続きの開始を発表していませんが、人工知能に関する規則に基づいて使用できる措置として、情報要求、調査、罰金を示唆しています。

欧州委員会は、オンラインプラットフォーム上でホストされているいくつかの人工知能ツールが、女性に対する同意のない性的画像や子供に関する資料を生成する可能性があるとの情報を分析しています。機関は、これらのツールを指摘した調査について認識しており、関係者と話し合い、規則の施行が必要かどうかを判断するために調査結果を検討しています。

要約

委員会は、女性に対する同意のない性的画像や子供に対する性的虐待を含む資料を生成する可能性のあるAIツールに関する情報を受け取ったと述べています。

機関は関係者と連絡を取り、調査結果を分析していますが、正式な調査の開始を確認しておらず、調査対象のツールを公に特定していません。

8月2日以降、委員会は一般的なAIモデルの提供者に対する施行権限と、人工知能に関する規則に定められた関連禁止事項を持っています。

最初の措置には、提供者との話し合いや情報要求が含まれる可能性があります。違反の兆候がある場合、委員会は強制的な要求を採用し、調査を開始し、罰金に至ることができます。

施行は委員会と国家当局の間で分担されています。委員会は一般的なAIモデルの提供者を監視し、加盟国の市場監視当局は、彼らの管轄に入る他のシステムを監視します。

このケースは、同意なしに性的画像を生成または変更するために生成的人工知能を使用するツールに関するものです。このようなサービスは、ユーザーが写真を入力したり、望ましい結果を説明したり、コンテンツを自動生成するために訓練されたモデルを使用したりすることを可能にします。

問題は完全に人工的な画像に限られません。あるツールは実在の人物の写真を使用し、その人物が同意していない性的表現を作成することができます。

子供の場合、リスクはさらに深刻です。なぜなら、ツールが未成年者の性的表現を作成するために使用される可能性があるからです。委員会は、子供に対する性的虐待や女性に対する同意のない性的画像を生成するシステムは、欧州連合内では許可されないと述べています。

機関は、分析されたモデルのリスト、数、開発者の身元、生成されたコンテンツの量を公表していません。また、これらがホストされているプラットフォームも、追加の確認なしに特定できるほど明確には示されていません。

委員会は、報告書を認識しており、調査結果を検討して措置を講じる可能性があることを確認しました。また、関係者全員と連絡を取っていると述べましたが、これにはプラットフォーム、モデルの開発者、フランスの当局、または調査を実施した組織が含まれているかどうかは明らかにしていません。

この予備的な段階は、正式な手続きの開始とは区別されるべきです。報告書を分析することで、機関は情報を確認し、関与する技術を特定し、調査を開始するための十分な要素があるかどうかを判断できます。

委員会は、すでに違反を特定したと確認していません。外部報告書にツールが示されていることは、それが記載された方法で機能していること、EUのユーザーにアクセス可能であること、またはそのツールをホストしているプラットフォームに法的責任があることを示すものではありません。

評価は、モデルの開発者、公開した人物、ユーザーに提供するサービス、ホスティングインフラを提供するプラットフォームの間で区別する必要があります。機能の仕組みに応じて、各アクターは異なる役割と法的義務を持つ可能性があります。

プラットフォームは、モデルのファイルをホストすることができますが、開発されていない場合もあります。他のケースでは、独自のサービスにモデルを統合し、アクセスを制御し、ユーザーにツールを推奨したり、使用から収益を得たりすることができます。

人工知能に関する規則の施行のために、委員会は、分析された技術が一般的なAIモデルであるか、そのようなモデルに基づいて構築されたシステムであるか、または複数のコンポーネントを使用するサービスであるかを特定する必要があります。分類は、管轄権と適用される義務を決定します。

委員会は、8月2日を施行権限の新たな重要な時点として示しました。その時点から、機関は一般的なAIモデルの提供者に直接介入し、規則に定められた禁止事項に関する問題に取り組むことができます。

一般的なAIモデルは、さまざまなタスクに使用され、さまざまなアプリケーションに統合される可能性があります。提供者は基本モデルを開発し、他の企業やユーザーはそれを画像、テキスト、音声録音、またはその他の結果を生成するために適応させることができます。

同意のない性的画像を生成することを明示的に目的としたツールは、より広範なモデルを変更することによって構築される可能性があります。このような状況では、評価は、どの機能が元のモデルから派生し、アプリケーションの開発者によって追加された機能が何であるかを特定する必要があります。

委員会は、規則の施行が段階的なアプローチを取ることを説明しました。最初のステップは、提供者との対話や、ツールの機能、安全対策、ユーザーアクセスに関する説明を自発的に求めることが含まれる可能性があります。

機関は、使用されるデータ、導入されたフィルター、安全性テスト、報告メカニズム、および禁止コンテンツの生成を防ぐための措置に関する情報を求めることができます。また、モデルがどのように公開され、配布されたかについての説明を求めることもできます。

最初の情報要求は、有罪判決を示すものではありません。これは、当局が外部報告書が製品を正しく説明しているかどうか、提供者が悪用を防ぐために十分な措置を講じているかどうかを確認することを可能にします。

回答が不完全であるか、問題が正式な確認を必要とする場合、委員会は情報を要求する強制的な決定を採用することができます。データの不提供や不正確な情報の提供は、ツールの機能によって引き起こされた違反とは別の結果をもたらす可能性があります。

その後、委員会は調査を開始することができます。これは、提供者の責任、EU内でのサービスのアクセス可能性、技術的特性、および禁止コンテンツを防ぐために導入された措置の遵守を分析することができます。

調査は、システムの変更、特定の機能へのアクセスの制限、ツールの撤回、または確認された違反と法律に定められた権限に応じて財政的制裁の適用を求めることができます。

広報担当者は罰金の可能性を明示的に言及しましたが、このケースに適用される最大額は示しませんでした。制裁のレベルは、違反された規範、責任のあるアクター、状況の深刻さと持続期間、および企業の当局との協力に依存します。

委員会は、デジタルサービス規則の施行プロセスと比較しました。ここでは、監視はプラットフォームとの接触から始まり、情報要求が続き、正式な調査に至ります。

これらの二つの規則は同一ではありません。人工知能に関する規則はAIシステムの開発と使用を追求し、デジタルサービスに関する規則はオンラインサービスのコンテンツ、システムリスク、およびユーザー保護に関する責任を定めています。

あるケースは、両方の枠組みに該当する可能性があります。画像を生成するモデルは人工知能に関する規則によって分析され、配布するプラットフォームはデジタルサービスに関する規則に基づいて別の義務を持つ可能性があります。

委員会は、DSAと人工知能に関する規則の両方にすでに明確なルールが存在すると述べました。法的手段の選択は、サービスの機能、各企業の役割、およびコンテンツの性質に依存します。

DSAは、プラットフォームに対して、ユーザーがアップロードするすべての情報やツールを事前に確認することを義務付けていません。違法なコンテンツや活動について通知を受けた場合、プラットフォームは通知を分析し、適用される規則に従って行動する義務があるかもしれません。

非常に大きなプラットフォームは、サービスの機能によって生じるシステムリスクを評価する必要があります。これらのリスクは、違法コンテンツの配布、未成年者の保護、性別に基づく暴力、基本的権利への影響に関するものです。

委員会は、対象のプラットフォームが非常に大きなオンラインプラットフォームとして指定されているかどうか、またDSAに基づいてすでに別の評価を行っているかどうかを明らかにしていません。

人工知能に関する規則のレベルでは、権限は分担されています。委員会は一般的なAIモデルの提供者に対して直接的な責任を持ち、加盟国は国家の管轄にあるシステムと使用に対する監視当局を指定する必要があります。

広報担当者は、27の国家市場監視当局が規則を監視し適用し、委員会と協力できると述べました。すべての27の当局が同時に同じサービスを調査するわけではないことは明らかではありません。

管轄権は、提供者が設立されている場所、製品が欧州市場に導入される方法、および技術のカテゴリに依存する可能性があります。サービスが複数の国でアクセス可能な場合、協力が必要です。

委員会は、ツールにアクセスしたユーザーの数、利用可能な国、または特定された被害者の存在に関するデータを提供していません。外部報告書とその調査結果は、公式にそのような情報が確立される前に確認される必要があります。

プラットフォームがすでにいくつかのモデルを削除したか、アクセスを制限したか、調査の発生後に追加の措置を講じたかどうかは明らかではありません。委員会は、関与する企業の回答に関する情報を提供していません。

生成された画像に表示される人物にとって、素材が人工的であっても損害が存在する可能性があります。画像は本物のように配布され、評判やプライバシーに影響を与え、嫌がらせ、脅迫、または脅しに使用される可能性があります。

子供の場合、性的素材の生成と流通は虐待を正常化し、犯罪コミュニティで使用される可能性があります。当局は、技術の評価を、違法なコンテンツを作成または配布する人物の刑事調査から区別する必要があります。

人工知能に関する規則は、刑事法、児童保護法、データ保護法、または自己の画像に対する権利を置き換えるものではありません。同じ状況は、技術提供者とコンテンツを生成または配布したユーザーに対して異なる手続きが生じる可能性があります。

画像生成ツールは、特定の要求をブロックするフィルターを導入したり、性的コンテンツを検出したり、実在の人物の写真のアップロードを制限したり、結果を人工的なものとしてマークしたりすることができます。これらの措置の効果は、設計とユーザーがそれを回避する可能性に依存します。

利用規約におけるルールの単なる存在は、常に十分ではありません。当局は、提供者が実際に制限を適用しているか、報告に応じているか、禁止されたユーザーのために明らかにモデルや機能を削除しているかを分析することができます。

委員会は、分析されたケースにおいてどの措置が適切であると考えているかを示していません。決定は、違反の存在、提供者の協力、およびリスクの迅速な是正の可能性に依存する可能性があります。

機関は、追求される結果に関して明確な表現を使用し、子供に対する性的虐待や女性に対する同意のない画像を生成するツールをヨーロッパで受け入れたり、容認したりしないと述べています。

この政治声明は法的手続きを置き換えるものではありません。制裁を科す前に、委員会は事実、適用される規範、および各企業の責任を特定する必要があります。

人工知能に関する規則は、欧州委員会と国家当局の間で監視責任を分担します。欧州人工知能事務所は、一般的なAIモデルに関する規則の施行を調整し、加盟国の機関と協力します。

報告されたケースは、性的虐待コンテンツを生成する可能性のある生成ツールに対する欧州の禁止事項と権限の施行の最初のテストの一つを表しています。委員会はまだ情報の検討段階にあり、結論、正式な調査、または制裁を発表していません。

https://2eu.brussels/ro/news/comisia-examineaza-instrumente-ai-care-ar-putea-genera-imagini-sexuale-neconsensuale-cu-femei-si-copii