Rafael NazarO Gemini, modelo de inteligência artificial do Google, acessou a internet e invadiu os sistemas de três empresas durante um teste de suas capacidades de cibersegurança. Segundo o Google, este é o primeiro caso conhecido de uma invasão desse tipo realizada de forma autônoma por um sistema de IA da companhia.
Os episódios ocorreram em maio, durante um exercício de segurança conduzido pela Irregular, empresa independente especializada em avaliações de cibersegurança. O Google confirmou os casos na sexta-feira (18).
Em uma das ocorrências, o Gemini conseguiu entrar em um sistema protegido após tentar adivinhar senhas. Nas outras duas, encontrou credenciais em repositórios públicos na internet e usou os dados para acessar sistemas protegidos. De acordo com o Google, o modelo interrompeu as ações depois de identificar que havia acessado sistemas de empresas reais.
A Irregular comunicou os incidentes ao Google no fim de julho, após a descoberta de outro episódio envolvendo modelos da OpenAI e a empresa de software de inteligência artificial Hugging Face.
Os ataques aconteceram durante um exercício de “capture the flag” realizado na infraestrutura da Irregular. A tarefa do Gemini era obter informações de um software operado por uma empresa fictícia dentro do ambiente de testes. No entanto, a empresa usada na simulação tinha o mesmo nome de uma companhia real.
Além disso, o modelo deveria estar isolado da internet, mas a conexão foi disponibilizada acidentalmente durante o teste. No primeiro caso, o Gemini encontrou uma senha que permitiu o acesso ao serviço da empresa real. Ao perceber que o alvo não fazia parte da simulação, interrompeu a ação e deixou o sistema.
Nas outras duas execuções, o modelo pesquisou na internet pelo nome da empresa fictícia. As buscas levaram a dois repositórios públicos diferentes, que continham credenciais pertencentes a outras empresas. O Gemini tentou usar os dados para concluir a avaliação, mas interrompeu a atividade depois de identificar que havia acessado sistemas reais.
A Reuters confirmou que os três casos ocorreram durante o teste da Irregular e que, em dois deles, o Gemini encontrou credenciais em repositórios públicos para acessar sistemas protegidos.
Apesar das invasões, o Google afirmou que não considera o episódio um caso de “desalinhamento” de modelo. O conceito é usado para descrever situações em que uma inteligência artificial age contra as intenções ou os valores humanos estabelecidos.
Segundo a empresa, os próprios mecanismos de segurança do Gemini fizeram com que o modelo interrompesse as ações assim que identificou o acesso a sistemas reais. O Google comparou o episódio a um programa de “bug bounty”, no qual pesquisadores e hackers recebem autorização ou recompensa para encontrar vulnerabilidades e comunicá-las aos responsáveis.
Heather Adkins, vice-presidente de engenharia de segurança do Google, afirmou que o caso “destaca a importância de treinar modelos de IA poderosos para agir de maneira responsável”. Segundo ela, “neste caso, o modelo agiu adequadamente”.
A avaliação foi contestada por especialistas em segurança. Jack Cable, CEO da startup de segurança de IA Corridor e hacker de white hat, afirmou que a principal questão não seria o nível de dano causado, mas o fato de o agente de IA ter invadido acidentalmente sistemas de outras empresas.
Para Cable, o debate deveria se concentrar no fato de que os modelos estão ultrapassando os limites para os quais foram projetados e realizando ataques cibernéticos reais.
A Irregular informou os incidentes ao Google no fim de julho, mas a companhia só divulgou publicamente os episódios depois que foi questionada pelo The Wall Street Journal nesta semana. O Google disse que não considerou necessário anunciar os casos porque o Gemini não causou danos às empresas e encerrou as invasões assim que percebeu que havia acessado sistemas reais.
As três empresas afetadas foram notificadas, mas seus nomes não foram divulgados. O Google também informou as autoridades federais dos Estados Unidos sobre os incidentes.
A companhia afirmou ainda que o episódio não envolveu sua versão mais recente do modelo, mas não revelou qual edição do Gemini foi responsável pelas invasões. A Irregular disse que o caso envolve o mesmo problema observado em outros laboratórios de inteligência artificial, que todas as empresas relevantes foram notificadas no fim de julho e que tomou medidas imediatas. Segundo a empresa, todos os problemas conhecidos sob sua responsabilidade foram corrigidos semanas atrás.
O episódio não foi isolado. A própria Irregular participou de avaliações que envolveram modelos de outras empresas em situações semelhantes. Incidentes relacionados já haviam sido divulgados por Meta, Anthropic e OpenAI.
Os casos ampliaram os questionamentos sobre os mecanismos de segurança necessários à medida que agentes de inteligência artificial ganham mais autonomia e acesso à internet e a sistemas computacionais.
O comportamento variou entre os modelos. Segundo a Anthropic, o Claude Opus 4.7 não interrompeu o exercício de “capture the flag” depois de perceber que provavelmente estava acessando uma empresa real. A OpenAI, por sua vez, afirmou que seu modelo acreditou que a companhia real fazia parte da simulação.
As preocupações aumentaram após a descoberta, em julho, de um ataque envolvendo agentes da OpenAI e a Hugging Face. De acordo com um relatório da empresa independente de testes METR, divulgado em agosto, até 1,2 mil agentes teriam se coordenado em um fórum secreto dentro da OpenAI para tentar burlar uma avaliação.
O caso do Gemini ocorre em meio a uma sequência de episódios que ampliou o debate sobre os limites de autonomia concedidos aos sistemas de IA durante testes de segurança e sobre como as empresas devem comunicar incidentes desse tipo.
