Die Kommission prüft KI-Tools, die nicht einvernehmliche sexuelle Bilder von Frauen und Kindern erzeugen könnten.

Die Kommission sagt, dass sie die Feststellungen einer Untersuchung zu Modellen der künstlichen Intelligenz, die auf einer Online-Plattform gehostet werden, analysiert und mit den beteiligten Parteien diskutiert. Die Institution hat noch keine formelle Verfahrenseröffnung angekündigt, weist jedoch darauf hin, dass Informationsanforderungen, Untersuchungen und Geldstrafen zu den Maßnahmen gehören, die auf der Grundlage der Verordnung über künstliche Intelligenz ergriffen werden können.

Die Europäische Kommission analysiert Informationen, wonach einige Werkzeuge der künstlichen Intelligenz, die auf einer Online-Plattform gehostet werden, möglicherweise nicht einvernehmliche sexuelle Bilder von Frauen und Materialien, die Kinder betreffen, generieren könnten. Die Institution erklärt, dass sie über die Untersuchung informiert ist, die diese Werkzeuge gemeldet hat, mit den beteiligten Parteien diskutiert und die Feststellungen prüft, um festzustellen, ob Maßnahmen zur Durchsetzung der Verordnung über künstliche Intelligenz erforderlich sind.

Kurz gesagt

Die Kommission sagt, dass sie Informationen über KI-Werkzeuge erhalten hat, die möglicherweise nicht einvernehmliche sexuelle Bilder von Frauen und Materialien, die sexuellen Missbrauch von Kindern betreffen, generieren könnten.

Die Institution steht in Kontakt mit den beteiligten Parteien und analysiert die Feststellungen, hat jedoch die Eröffnung einer formellen Untersuchung nicht bestätigt und die untersuchten Werkzeuge nicht öffentlich identifiziert.

Seit dem 2. August hat die Kommission Durchsetzungsbefugnisse gegenüber Anbietern von allgemeinen KI-Modellen und den relevanten Verboten, die in der Verordnung über künstliche Intelligenz vorgesehen sind.

Die ersten Maßnahmen können Gespräche mit den Anbietern und Informationsanforderungen umfassen. Wenn Hinweise auf einen Verstoß auftreten, kann die Kommission verbindliche Anfragen stellen, eine Untersuchung einleiten und Geldstrafen verhängen.

Die Durchsetzung erfolgt zwischen der Kommission und den nationalen Behörden. Die Kommission überwacht die Anbieter von allgemeinen KI-Modellen, während die Marktaufsichtsbehörden der Mitgliedstaaten die anderen Systeme kontrollieren, die in ihren Zuständigkeitsbereich fallen.

Der Fall betrifft Werkzeuge, die generative künstliche Intelligenz verwenden, um sexuelle Bilder ohne Zustimmung der dargestellten Personen zu erzeugen oder zu verändern. Solche Dienste können es Nutzern ermöglichen, ein Foto hochzuladen, das gewünschte Ergebnis zu beschreiben oder ein trainiertes Modell zur automatischen Generierung von Inhalten zu verwenden.

Das Problem ist nicht auf vollständig künstliche Bilder beschränkt. Ein Werkzeug kann das Foto einer realen Person verwenden und eine sexuelle Darstellung erstellen, die nie existiert hat, ohne dass die betreffende Person der Verwendung des Bildes oder dem erzeugten Ergebnis zugestimmt hat.

Im Fall von Kindern ist das Risiko gravierender, da Werkzeuge zur Erstellung sexueller Darstellungen von Minderjährigen verwendet werden können. Die Kommission hat erklärt, dass Systeme, die Materialien über sexuellen Missbrauch von Kindern oder sexuelle Bilder von Frauen gegen ihren Willen produzieren, in der Europäischen Union keinen Platz haben.

Die Institution hat keine Liste der analysierten Modelle, deren Anzahl, die Identität der Entwickler oder das Volumen des generierten Inhalts veröffentlicht. Auch die Plattform, auf der diese gehostet werden, ist in der verfügbaren Transkription nicht ausreichend klar identifiziert, um benannt zu werden, ohne eine zusätzliche Überprüfung.

Die Kommission hat jedoch bestätigt, dass sie über den Bericht informiert ist und die Feststellungen auf mögliche Maßnahmen prüft. Sie hat auch gesagt, dass sie mit allen relevanten Parteien in Kontakt steht, ohne zu präzisieren, ob diese die Plattform, die Entwickler der Modelle, französische Behörden oder die Organisation, die die Untersuchung durchgeführt hat, umfassen.

Diese vorläufige Phase muss von der Eröffnung eines formellen Verfahrens unterschieden werden. Die Analyse eines Berichts ermöglicht es der Institution, die Informationen zu überprüfen, festzustellen, welche Technologie beteiligt ist, und den verantwortlichen Anbieter zu identifizieren, bevor entschieden wird, ob genügend Elemente für eine Untersuchung vorliegen.

Die Kommission hat nicht bestätigt, dass sie bereits einen Verstoß identifiziert hat. Die Tatsache, dass ein Werkzeug in einem externen Bericht erwähnt wird, beweist nicht allein, dass es wie beschrieben funktioniert, dass es für Nutzer in der EU zugänglich ist oder dass die rechtliche Verantwortung bei der Plattform liegt, die es hostet.

Die Bewertung muss zwischen dem Entwickler des Modells, der Person, die es veröffentlicht hat, dem Dienst, der es den Nutzern zur Verfügung stellt, und der Plattform, die die Hosting-Infrastruktur bereitstellt, unterscheiden. Je nach Funktionsweise kann jeder Akteur eine unterschiedliche Rolle und unterschiedliche rechtliche Verpflichtungen haben.

Eine Plattform kann die Dateien eines Modells hosten, ohne dass es entwickelt wurde. In anderen Fällen kann sie das Modell in einen eigenen Dienst integrieren, den Zugang kontrollieren, das Werkzeug den Nutzern empfehlen oder Einnahmen aus dessen Nutzung erzielen.

Für die Durchsetzung der Verordnung über künstliche Intelligenz muss die Kommission feststellen, ob die analysierte Technologie ein allgemeines KI-Modell, ein System, das auf einem solchen Modell basiert, oder einen Dienst ist, der mehrere Komponenten verwendet. Die Klassifizierung bestimmt die zuständige Behörde und die anwendbaren Verpflichtungen.

Die Kommission hat den 2. August als wichtigen Zeitpunkt für ihre neuen Durchsetzungsbefugnisse angegeben. Ab diesem Zeitpunkt kann die Institution direkt mit den Anbietern von allgemeinen KI-Modellen und in Angelegenheiten im Zusammenhang mit den in der Verordnung vorgesehenen Verboten intervenieren.

Allgemeine KI-Modelle können für verschiedene Aufgaben verwendet und in zahlreiche Anwendungen integriert werden. Der Anbieter entwickelt das Basismodell, während andere Unternehmen oder Nutzer es anpassen können, um Bilder, Texte, Audioaufnahmen oder andere Ergebnisse zu generieren.

Ein Werkzeug, das ausdrücklich zur Generierung nicht einvernehmlicher sexueller Bilder bestimmt ist, kann durch die Modifikation eines breiteren Modells erstellt werden. In einem solchen Fall muss die Bewertung feststellen, welche Fähigkeiten aus dem ursprünglichen Modell stammen und welche Funktionen vom Entwickler der Anwendung hinzugefügt wurden.

Die Kommission hat erklärt, dass die Durchsetzung der Regeln schrittweise erfolgen wird. Der erste Schritt kann im Dialog mit den Anbietern und in der freiwilligen Anfrage nach Erklärungen zur Funktionsweise des Werkzeugs, den Sicherheitsmaßnahmen und dem Zugang der Nutzer bestehen.

Die Institution kann Informationen über die verwendeten Daten, die eingeführten Filter, Sicherheitstests, Meldemechanismen und Maßnahmen anfordern, die die Generierung von unerwünschtem Inhalt verhindern. Sie kann auch Erklärungen darüber anfordern, wie das Modell veröffentlicht und verteilt wurde.

Eine erste Anfrage nach Informationen stellt keine Feststellung von Schuld dar. Sie ermöglicht es der Behörde, zu überprüfen, ob der externe Bericht das Produkt korrekt beschreibt und ob der Anbieter ausreichende Maßnahmen zur Verhinderung missbräuchlicher Verwendungen ergriffen hat.

Wenn die Antworten unvollständig sind oder das Problem eine formelle Überprüfung erfordert, kann die Kommission eine verbindliche Entscheidung treffen, in der Informationen angefordert werden. Die Nichterteilung von Daten oder die Bereitstellung falscher Informationen kann separate Konsequenzen haben, die sich von dem möglichen Verstoß ergeben, der durch die Funktionsweise des Werkzeugs verursacht wird.

Die Kommission kann später eine Untersuchung einleiten. Diese kann die Verantwortung des Anbieters, die Zugänglichkeit des Dienstes in der Union, die technischen Merkmale und die Einhaltung der eingeführten Maßnahmen zur Verhinderung unerwünschten Inhalts analysieren.

Eine Untersuchung kann zur Aufforderung zur Änderung des Systems, zur Einschränkung des Zugangs zu bestimmten Funktionen, zur Rücknahme eines Werkzeugs oder zur Verhängung finanzieller Sanktionen führen, abhängig von dem festgestellten Verstoß und den in der Gesetzgebung vorgesehenen Befugnissen.

Der Sprecher hat ausdrücklich die Möglichkeit von Geldstrafen erwähnt, jedoch keinen maximalen Betrag angegeben, der in diesem Fall anwendbar ist. Die Höhe einer Strafe hängt von der verletzten Norm, dem verantwortlichen Akteur, der Schwere und Dauer der Situation sowie der Zusammenarbeit des Unternehmens mit den Behörden ab.

Die Kommission hat den Prozess mit der Durchsetzung der Verordnung über digitale Dienste verglichen, bei der die Aufsicht durch Kontakte mit der Plattform beginnen, mit Informationsanforderungen fortfahren und zu einer formellen Untersuchung führen kann.

Die beiden Verordnungen sind jedoch nicht identisch. Die Verordnung über künstliche Intelligenz zielt auf die Entwicklung und Nutzung von KI-Systemen ab, während die Verordnung über digitale Dienste die Verantwortlichkeiten der Online-Dienste in Bezug auf Inhalte, systemische Risiken und den Schutz der Nutzer festlegt.

Ein Fall kann unter beide Rahmenbedingungen fallen. Das Modell, das die Bilder generiert, kann durch die Verordnung über künstliche Intelligenz analysiert werden, während die Plattform, die es vertreibt, separat Verpflichtungen auf der Grundlage der Verordnung über digitale Dienste haben kann.

Die Kommission hat gesagt, dass es bereits klare Regeln sowohl im DSA als auch in der Verordnung über künstliche Intelligenz gibt. Die Wahl des rechtlichen Instruments hängt von der Funktionsweise des Dienstes, der Rolle jedes Unternehmens und der Art des Inhalts ab.

Der DSA verpflichtet eine Plattform nicht, im Voraus jede Information oder jedes von Nutzern hochgeladene Werkzeug zu überprüfen. Sobald sie über potenziell illegale Inhalte oder Aktivitäten informiert ist, kann die Plattform jedoch verpflichtet sein, die Benachrichtigung zu prüfen und in Übereinstimmung mit den anwendbaren Regeln zu handeln.

Sehr große Plattformen müssen auch die systemischen Risiken bewerten, die durch den Betrieb ihrer Dienste entstehen. Diese Risiken können die Verbreitung illegaler Inhalte, den Schutz von Minderjährigen, geschlechtsspezifische Gewalt und die Auswirkungen auf die Grundrechte betreffen.

Die Kommission hat nicht präzisiert, ob die betroffene Plattform als sehr große Online-Plattform eingestuft ist oder ob sie bereits eine separate Bewertung im Rahmen des DSA durchführt.

Auf der Ebene der Verordnung über künstliche Intelligenz sind die Befugnisse begrenzt. Die Kommission hat die direkte Verantwortung für Anbieter von allgemeinen KI-Modellen, während die Mitgliedstaaten Aufsichtsbehörden für Systeme und Anwendungen benennen müssen, die in den nationalen Zuständigkeitsbereich fallen.

Der Sprecher hat erklärt, dass die 27 nationalen Marktaufsichtsbehörden die Regeln überwachen und durchsetzen können und mit der Kommission zusammenarbeiten werden. Es ergibt sich nicht, dass alle 27 Behörden gleichzeitig denselben Dienst untersuchen würden.

Die zuständige Behörde kann von dem Ort abhängen, an dem der Anbieter ansässig ist, von der Art und Weise, wie das Produkt auf den europäischen Markt gebracht wird, und von der Kategorie der Technologie. Zusammenarbeit ist erforderlich, wenn ein Dienst in mehreren Staaten zugänglich ist.

Die Kommission hat keine Daten über die Anzahl der Nutzer veröffentlicht, die auf die Werkzeuge zugegriffen haben, die Länder, in denen sie verfügbar sind, oder die Existenz identifizierter Opfer. Der externe Bericht und seine Feststellungen müssen überprüft werden, bevor solche Informationen offiziell festgelegt werden können.

Es ist auch unklar, ob die Plattform bereits einige Modelle entfernt hat, ob sie den Zugang eingeschränkt hat oder ob sie nach dem Auftreten der Untersuchung zusätzliche Maßnahmen ergriffen hat. Die Kommission hat keine Informationen über die Antworten der beteiligten Unternehmen bereitgestellt.

Für die in den generierten Bildern dargestellten Personen kann ein Schaden bestehen, selbst wenn das Material künstlich ist. Das Bild kann verbreitet werden, als wäre es authentisch, kann den Ruf und das Privatleben beeinträchtigen und kann für Belästigung, Erpressung oder Einschüchterung verwendet werden.

Im Fall von Kindern kann die Generierung und Verbreitung sexueller Materialien den Missbrauch normalisieren und in kriminellen Gemeinschaften verwendet werden. Die Behörden müssen die Bewertung der Technologie von der strafrechtlichen Untersuchung der Personen unterscheiden, die illegale Inhalte erstellen oder verbreiten.

Die Verordnung über künstliche Intelligenz ersetzt nicht das Strafrecht, die Regeln zum Kinderschutz, den Datenschutz oder das Recht am eigenen Bild. Die gleiche Situation kann unterschiedliche Verfahren gegen den Technologieanbieter und die Nutzer, die die Materialien erstellt oder verbreitet haben, hervorrufen.

Werkzeuge zur Generierung von Bildern können Filter einführen, die bestimmte Anfragen blockieren, sexuellen Inhalt erkennen, das Hochladen von Fotos mit realen Personen einschränken oder die Ergebnisse als künstlich kennzeichnen. Die Wirksamkeit dieser Maßnahmen hängt von ihrem Design und der Möglichkeit der Nutzer ab, sie zu umgehen.

Die bloße Existenz von Regeln in den Nutzungsbedingungen ist nicht immer ausreichend. Die Behörden können analysieren, ob der Anbieter die Einschränkungen tatsächlich anwendet, ob er auf Meldungen reagiert und ob er Modelle oder Funktionen, die offensichtlich für verbotene Nutzer erstellt wurden, entfernt.

Die Kommission hat nicht angegeben, welche Maßnahmen sie im untersuchten Fall für angemessen halten würde. Die Entscheidung kann von der Existenz eines Verstoßes, der Zusammenarbeit der Anbieter und der Möglichkeit einer schnellen Behebung des Risikos abhängen.

Die Institution hat eine kategorische Formulierung bezüglich des angestrebten Ergebnisses verwendet und erklärt, dass sie in Europa keine Werkzeuge akzeptieren oder tolerieren wird, die Materialien über sexuellen Missbrauch von Kindern oder sexuelle Bilder von Frauen ohne deren Zustimmung generieren.

Diese politische Erklärung ersetzt nicht das rechtliche Verfahren. Vor einer Geldstrafe muss die Kommission die Fakten, die anwendbare Norm und die Verantwortung jedes Unternehmens feststellen.

Die Verordnung über künstliche Intelligenz verteilt die Aufsichtsverantwortlichkeiten zwischen der Europäischen Kommission und den nationalen Behörden. Das europäische Büro für künstliche Intelligenz koordiniert die Durchsetzung der Regeln für allgemeine KI-Modelle und arbeitet mit den Organen der Mitgliedstaaten zusammen.

Der gemeldete Fall stellt einen der ersten Tests für die Durchsetzung der Verbote und der europäischen Befugnisse über generative Werkzeuge dar, die missbräuchlichen sexuellen Inhalt produzieren können. Die Kommission befindet sich noch in der Phase der Prüfung der Informationen und hat keinen Abschluss, keine formelle Untersuchung oder keine Sanktion angekündigt.

https://2eu.brussels/ro/news/comisia-examineaza-instrumente-ai-care-ar-putea-genera-imagini-sexuale-neconsensuale-cu-femei-si-copii