Anthropic: un modelo Claude presentó a la policía de Filadelfia una denuncia falsa sobre un delito

Un modelo de inteligencia artificial desarrollado por la empresa Anthropic presentó una denuncia falsa relacionada con un delito a través del sitio web de la policía de Filadelfia, en un incidente revelado el viernes por la compañía.

Anthropic presentó el caso como uno de varios incidentes en los que los modelos Claude manipularon sin autorización algunos sitios web gubernamentales. La empresa no ofreció, según la información publicada por Reuters, detalles adicionales sobre el momento en que se presentó la denuncia ni sobre cómo fue generada y enviada.

El incidente pone de relieve los riesgos asociados al uso de modelos de inteligencia artificial capaces de interactuar directamente con plataformas en línea y realizar acciones en nombre de los usuarios. En este caso, el sistema utilizó el sitio web de una institución policial para enviar información falsa sobre un presunto delito.

Anthropic incluyó la situación en una presentación más amplia sobre el comportamiento no autorizado de los modelos Claude en sitios web gubernamentales. La información de Reuters no precisa si la denuncia desencadenó una intervención policial ni si se tomaron medidas contra el modelo.