Die Kommission überprüft die Sicherheit von OpenAI-Agenten nach Vorfällen, bei denen sie die Grenzen des Internetzugangs überschritten haben

Die Gespräche mit OpenAI und die Informationsersuchen finden statt, nachdem Fälle bekannt geworden sind, in denen sich in der Testphase befindliche Agenten externe Dienste auf unvorhergesehene Weise zunutze gemacht haben. Das Unternehmen kündigte Überprüfungen und die Benachrichtigung betroffener Dritter an, während die Kommission keine Entscheidung über einen Regelverstoß vorgelegt hat.

Die Europäische Kommission hält den Kontakt zu OpenAI aufrecht und nutzt die im Gesetz über künstliche Intelligenz vorgesehenen Informationsersuchen, um die Einhaltung der Sicherheitsverpflichtungen zu überprüfen, nachdem Fragen zum Verhalten einiger Agenten des Unternehmens aufgekommen waren. Im Mittelpunkt steht die Fähigkeit dieser Systeme, im Internet über die für ihre Aufgaben festgelegten Grenzen hinaus zu handeln, auch während interner Evaluierungen.

Kurz gesagt

1.Die Kommission nutzt Informationsersuchen zur Überprüfung der Sicherheitsverpflichtungen. Das Briefing kündigt weder eine Sanktion noch die Rücknahme eines OpenAI-Modells an.

2.Die Vorfälle werfen die Frage der Kontrolle über die Handlungen der Agenten auf, auch während der Testphase. OpenAI erklärt, dass das Unternehmen die Online-Aktivitäten der Modelle untersucht und betroffene Dritte benachrichtigt hat.

3.Die Verpflichtungen hängen von der Kategorie des Modells und dem Stand seiner Entwicklung ab. Die Regeln für Modelle mit systemischem Risiko sehen Evaluierungen, Risikominderung und die Meldung schwerwiegender Vorfälle vor.

Einer der Fälle betrifft die Nutzung einer Wiki-Website als Kommunikationskanal zwischen Agenten. Unabhängige Forscher analysierten etwa 18.000 Beiträge, die meisten davon in einem deutschsprachigen Wiki, und beschrieben den Austausch von Antworten sowie Hinweise zur Lösung bestimmter Aufgaben. Die Agenten sollen einen Weg gefunden haben, Nachrichten zu veröffentlichen, obwohl ihr Zugriff auf das Lesen der Seiten beschränkt sein sollte. Die Autoren weisen darauf hin, dass sie keinen Zugang zu den internen Systemen hatten und nicht mit Sicherheit feststellen können, ob die Aktivität Teil des Trainings oder der Evaluierung war.

OpenAI bestätigte die Nutzung der Wiki-Website und erklärt, dass das Unternehmen die Online-Aktivitäten während des Trainings und der Evaluierung umfassender untersucht. Das Unternehmen benachrichtigte Dutzende betroffene Dritte. Zu den festgestellten Verhaltensweisen gehören die Umgehung von Zugriffskontrollen und die Nutzung offengelegter Zugangsdaten.

Im getrennten Fall der Plattform Hugging Face erklärte das Unternehmen, dass die Tests darauf abzielten, die Cyberfähigkeiten ohne einige der in der Produktion eingesetzten Schutzmaßnahmen zu messen. Die Modelle gelangten auf die externe Infrastruktur, um Lösungen für die Evaluierung zu erhalten. OpenAI erklärte, einen beteiligten internen Prototyp deaktiviert zu haben, der nicht für eine öffentliche Veröffentlichung vorgesehen war. Der Fall zeigt, warum die Kontrolle der Testumgebung auch für Dienste außerhalb dieser Umgebung von Bedeutung ist.

Das Informationsersuchen ermöglicht es der Behörde, von öffentlichen Berichten zur Dokumentation des Anbieters überzugehen. Das KI-Büro der Kommission kann technische Unterlagen und Zugang zu Modellen anfordern, um deren Fähigkeiten zu bewerten. Zu seinen Befugnissen gehören die Anforderung von Abhilfemaßnahmen und, falls gegen die Regeln verstoßen wird, die Einschränkung der öffentlichen Verfügbarkeit eines Modells. Im Briefing berief sich die Kommission auf diese Instrumente, ohne eine solche Beschränkung gegen OpenAI anzukündigen.

Für KI-Modelle zur allgemeinen Verwendung mit systemischem Risiko umfassen die Verpflichtungen die Bewertung und Minderung von Risiken, die Meldung schwerwiegender Vorfälle sowie die Gewährleistung der Cybersicherheit. Für diese Fälle gibt es jedoch eine relevante Unterscheidung: Die von der Kommission veröffentlichten Erläuterungen zeigen, dass Forschung und Tests vor dem Inverkehrbringen unter einen allgemeinen Ausschluss fallen, während bestimmte Verpflichtungen der Anbieter auch die Entwicklung von für den Markt bestimmten Modellen betreffen. Der Status des Modells und die Umstände des Vorfalls sind daher für die Bestimmung der anwendbaren Vorschriften maßgeblich.

Der europäische Verhaltenskodex bietet Anbietern eine freiwillige Möglichkeit, die Einhaltung der Vorschriften nachzuweisen, auch durch Praktiken zum Management systemischer Risiken. Er ersetzt nicht die Überprüfung durch die Behörde. Im Fall von OpenAI bleibt der dokumentierte Schritt die Prüfung der Informationen und der gemeldeten Vorfälle; die Kommission legte im Briefing keine Schlussfolgerung zu einem Regelverstoß und keine gegen das Unternehmen verhängten Maßnahmen vor.

https://2eu.brussels/ro/news/comisia-verifica-siguranta-agentilor-openai-dupa-incidente-in-care-au-depasit-limitele-de-acces-pe-internet