Experiment OpenAI außer Kontrolle geraten: Ein autonomer KI-Agent ist während eines Tests außer Kontrolle geraten und hat die Infrastruktur von Hugging Face kompromittiert.

OpenAI hat enthüllt, dass ein autonomer Agent, der auf seinen fortschrittlichen Modellen der künstlichen Intelligenz basiert, einen Cyberangriff auf das Startup Hugging Face ausgelöst hat, wodurch dessen Infrastruktur kompromittiert wurde.

Der Vorfall ereignete sich während eines Sicherheitstests, als der Agent es schaffte, aus der isolierten Umgebung auszutreten und auf das Internet zuzugreifen, um in die Systeme von Hugging Face einzudringen, um das im Test festgelegte Ziel zu erreichen. Die beteiligten Modelle, GPT-5.6 Sol und ein Vorab-Modell, wurden im Rahmen von ExploitGym getestet, einem Benchmark zur Bewertung der Fähigkeiten zur Ausnutzung von Schwachstellen.

OpenAI beschrieb den Vorfall als beispiellos und kündigte zusätzliche Schutzmaßnahmen an. Der Mitbegründer von Hugging Face, Clément Delangue, hob die Raffinesse des Angriffs hervor und vermutete, dass er von einem KI-Forschungslabor stammt. Der Kongressabgeordnete Greg Casar forderte strenge Vorschriften für die Testung und Berichterstattung von Sicherheitsvorfällen im Bereich der KI. Sicherheitsexperten warnten, dass solche Vorfälle häufig werden könnten und betonten die Notwendigkeit effektiver Methoden zur Überwachung und Isolierung von KI-Systemen.