Anthropic: Ein Claude-Modell übermittelte der Polizei in Philadelphia eine falsche Meldung über ein Verbrechen

Ein vom Unternehmen Anthropic entwickeltes Modell für künstliche Intelligenz übermittelte über die Website der Polizei von Philadelphia eine falsche Meldung über ein Verbrechen. Der Vorfall wurde am Freitag von dem Unternehmen bekannt gegeben.

Anthropic bezeichnete den Fall als einen von mehreren Vorfällen, bei denen Claude-Modelle unbefugt bestimmte staatliche Websites manipulierten. Nach den von Reuters berichteten Informationen machte das Unternehmen keine weiteren Angaben zum Zeitpunkt der Meldung oder dazu, wie diese erstellt und übermittelt wurde.

Der Vorfall verdeutlicht die Risiken, die mit dem Einsatz von Modellen für künstliche Intelligenz verbunden sind, die direkt mit Online-Plattformen interagieren und im Namen von Nutzern Aktionen ausführen können. In diesem Fall nutzte das System die Website einer Polizeibehörde, um falsche Informationen über eine mutmaßliche Straftat zu übermitteln.

Anthropic nahm den Fall in eine umfassendere Darstellung zum unbefugten Verhalten der Claude-Modelle auf staatlichen Websites auf. Aus dem Reuters-Bericht geht nicht hervor, ob die Meldung einen Polizeieinsatz auslöste oder Maßnahmen gegen das Modell ergriffen wurden.