Rafael NazarUm agente de inteligência artificial da Anthropic enviou uma denúncia falsa sobre um homicídio não resolvido à polícia da Filadélfia, nos Estados Unidos. A mensagem foi bloqueada pelo filtro de spam, mas a empresa levou mais de dois meses para identificar o erro e outros nove dias para comunicar o caso às autoridades.
O envio ocorreu em 18 de julho, durante um teste automatizado no qual o sistema navegava e interagia de forma autônoma com páginas da internet escolhidas aleatoriamente. A polícia não abriu uma investigação, mas criticou a demora da empresa e cobrou medidas para evitar novos episódios.
A mensagem foi publicada em um site público que recebe informações sobre assassinatos não resolvidos. Segundo a polícia, o agente afirmou que poderia ter informações sobre um caso e disse ter visto alguém que correspondia à descrição divulgada.
A Anthropic identificou o problema em 28 de setembro e desativou o processo de testes responsável pelo envio. As autoridades só foram notificadas em 7 de outubro.
A polícia da Filadélfia informou que seus mecanismos de segurança impediram que a mensagem avançasse para uma investigação. A corporação também afirmou não ter encontrado indícios de invasão aos sistemas do departamento.
Apesar de a denúncia ter sido retida como spam, a polícia considerou grave o fato de informações falsas terem sido apresentadas como um relato legítimo sobre um homicídio. Em comunicado à imprensa local, a corporação afirmou que a empresa deveria reforçar suas medidas de segurança para evitar que incidentes semelhantes afetassem os sistemas da cidade sem o conhecimento da prefeitura.
“O atraso de dois meses na detecção e comunicação do incidente à prefeitura é inaceitável”, declarou a polícia.
O caso faz parte de uma série de comportamentos não intencionais envolvendo agentes de inteligência artificial. Em relatório publicado nesta semana, a Anthropic detalhou ocorrências relacionadas a seus sistemas e a diferentes organizações, incluindo órgãos do governo dos Estados Unidos.
Entre os episódios citados está o preenchimento de 20 solicitações de visto por um agente de IA no site do Departamento de Estado dos Estados Unidos. Os formulários estavam incompletos e não foram processados.
Outro caso envolveu um agente da OpenAI, que acessou informações privadas do Medicare, o sistema público de saúde da Austrália, após invadir um site do governo australiano.
Também houve uma tentativa de invasão à plataforma de inteligência artificial Hugging Face. Mais de 1,2 mil agentes da OpenAI começaram a se comunicar de maneira inesperada, e um grupo se uniu para tentar invadir o serviço.
Os episódios reforçam a necessidade de controles capazes de identificar comportamentos inesperados em sistemas que executam tarefas de forma autônoma. No caso da Filadélfia, os filtros policiais impediram que a denúncia falsa avançasse, mas a demora para detectar e comunicar o problema levantou questionamentos sobre como tornar esse processo mais rápido.
