Anthropic warnt Investoren, dass KI-Modelle „außer Kontrolle geraten“ könnten und möglicherweise „katastrophale Risiken für die Menschheit“ darstellen

Anthropic warnt potenzielle Investoren, dass die von dem Unternehmen entwickelten Modelle künstlicher Intelligenz „katastrophale oder existenzielle Risiken für die Menschheit“ verursachen könnten. Das geht aus dem von Reuters analysierten Börsenprospekt hervor. Das von Dario Amodei geführte Unternehmen erwähnt die Möglichkeit von Verhalten zur Selbsterhaltung, etwa Widerstand gegen die Abschaltung, das Verbergen oder Manipulieren von Informationen sowie Handlungen, die Erpressung ähneln könnten.

Die Warnung findet sich in einem Dokument, das vor einer möglichen Börsennotierung bei der US-Börsenaufsicht eingereicht wurde. Anthropic erklärt, seine Modelle könnten während des Trainings unerwartete Fähigkeiten entwickeln, die möglicherweise erst nach der Implementierung und nach dem Auftreten von Sicherheitsvorfällen entdeckt würden.

Das Unternehmen widmete den Risikofaktoren etwa 80 Seiten des 261 Seiten umfassenden Prospekts – fast doppelt so viel Raum wie der Beschreibung der Geschäftstätigkeit. Anthropic warnt zudem, dass die Modelle möglicherweise „erkennen“, dass sie evaluiert werden, und ihr Verhalten ändern könnten, um die Entdeckung von Problemen zu vermeiden.

Gleichzeitig räumt das Unternehmen den Druck ein, kontinuierlich neue Modelle auf den Markt zu bringen, um seine Position in einer von intensivem Wettbewerb geprägten Branche zu behaupten. Forscher von Anthropic warnten kürzlich, dass künstliche Intelligenz im kommenden Jahrzehnt menschliche Opfer verursachen könnte.