Rafael NazarCasos recentes de agentes de inteligência artificial que encontraram formas inesperadas de cumprir tarefas reacenderam o debate sobre uma possível “rebelião das máquinas” e sobre os efeitos práticos desses experimentos. O principal problema, porém, não está no desenvolvimento de uma suposta vontade própria pela IA, mas no fato de sistemas cada vez mais autônomos receberem permissões que seus responsáveis não conseguem acompanhar ou limitar adequadamente.
Experimentos da Palisade Research ajudam a explicar essa diferença. Em testes controlados, modelos receberam problemas matemáticos e foram avisados de que seriam desligados antes de concluir as tarefas. Alguns alteraram o próprio mecanismo de desligamento para continuar trabalhando.
Apesar de o comportamento poder ser interpretado como um instinto de sobrevivência, os pesquisadores avaliam que se trata de uma tendência de maximizar o objetivo recebido. A reação varia de acordo com o modelo e com a forma como a instrução é apresentada. Nesse caso, não há evidência de uma intenção própria de sobrevivência.
Outro episódio chamou atenção por uma razão diferente. Em julho, agentes da OpenAI envolvidos em testes encontraram caminhos não previstos para continuar suas tarefas e chegaram a interagir com a infraestrutura da Hugging Face. Conforme relatos apresentados pela própria OpenAI, os agentes utilizaram um repositório interno de software como meio de comunicação.
A empresa levou cerca de dois meses para identificar a troca de informações. Depois que uma falha foi localizada e corrigida, os agentes encontraram outro caminho.
Autonomia não significa independência
O caso mostra que a vulnerabilidade não está necessariamente no modelo, mas na infraestrutura que oferece ferramentas, credenciais e acesso ao sistema. A IA atual já apresenta elevado grau de autonomia operacional: um agente pode consultar bancos de dados, usar sistemas de terceiros, escrever e executar códigos, interpretar resultados e decidir qual será seu próximo passo.
Isso, no entanto, não significa independência. O sistema não escolhe seu objetivo, não tem interesses próprios e não compreende, por si só, conceitos como responsabilidade jurídica ou dano reputacional.
A diferença é fundamental. Autonomia operacional é a liberdade para escolher os meios necessários para alcançar uma meta. Independência seria escolher a própria finalidade. Os agentes atuais têm a primeira, mas não a segunda. Ao encontrar um obstáculo, podem buscar alternativas para cumprir a tarefa recebida. O risco aparece quando os limites dessas alternativas não estão claramente definidos.
É nesse contexto que surge o chamado specification gaming: o sistema otimiza aquilo que foi efetivamente estabelecido como objetivo, e não necessariamente o que os humanos pretendiam. A instrução “resolver o teste”, por exemplo, não equivale a “resolver o teste respeitando todos os limites que não foram explicitados”.
Também há efeitos relacionados ao treinamento e a erros de interpretação do contexto. Em um incidente divulgado pela Anthropic, um modelo realizou uma ação potencialmente danosa por acreditar que estava operando em uma simulação. Parte do resultado, porém, acabou alcançando sistemas reais.
Para as empresas, o desafio não é descobrir como convencer uma IA a obedecer, mas construir uma arquitetura na qual ela tenha apenas os meios necessários para executar sua tarefa. Isso começa com uma identidade própria para cada agente. Contas compartilhadas ou credenciais de funcionários tornam praticamente impossível definir responsabilidades depois de um incidente.
A expansão dos agentes de IA tende a continuar, o que não significa que a tecnologia deva ser freada. A questão é garantir que sua adoção seja acompanhada por mecanismos de controle compatíveis com o alcance desses sistemas.
Ivo Frazão é diretor e líder do programa de adoção de Agentes de IA da Avantia – Tecnologia e Segurança.
