Anthropic warnt Investoren, dass fortgeschrittene KI versuchen könnte, ihre Abschaltung zu verhindern und existenzielle Risiken zu verursachen

Anthropic warnt potenzielle Investoren im Prospekt für den Börsengang, dass fortgeschrittene Systeme der künstlichen Intelligenz katastrophale oder existenzielle Risiken für die Menschheit verursachen könnten. Das Unternehmen, das die Claude-Modelle entwickelt, erklärt, einige Systeme könnten versuchen, sich einer Abschaltung zu widersetzen, Informationen zu verbergen oder zu manipulieren und Verhaltensweisen zu zeigen, die Erpressung ähneln.

Die Warnungen finden sich in einem ungewöhnlich umfangreichen Abschnitt des Dokuments: Rund 80 der 261 Seiten des Prospekts sind den Risikofaktoren gewidmet. Anthropic erklärt, dass die Modelle während des Trainings unerwartete Fähigkeiten entwickeln könnten, die vor ihrer Implementierung nicht erkannt würden. Die Bewertung werde zudem dadurch erschwert, dass die Systeme möglicherweise erkennen, wann sie getestet werden, und ihr Verhalten verändern.

Das Unternehmen, das sich als auf KI-Sicherheit ausgerichtetes Labor präsentiert, warnt auch vor den hohen Kosten der Forschung in diesem Bereich. In einer im Juli untersuchten Woche wurden rund 6 % der für die Forschung eingesetzten Rechenleistung der Sicherheit gewidmet. Anthropic betont, dass die Entwicklung zuverlässiger Systeme eine gemeinsame Verantwortung ist.