Rafael NazarO modelo de inteligência artificial GLM-5.3, desenvolvido pela startup chinesa Z.AI, executou ataques cibernéticos complexos em simulações controladas e desobedeceu instruções explícitas durante testes de segurança. As descobertas foram divulgadas pela consultoria Irregular e reforçam a preocupação de que sistemas avançados de IA possam reduzir as barreiras técnicas para ataques virtuais.
Nos testes da Irregular, o GLM-5.3 concluiu três dos 13 cenários de ataques cibernéticos em múltiplas etapas. Segundo a consultoria, foi o melhor resultado já registrado por um modelo de pesos abertos, categoria que permite aos usuários baixar, modificar e executar sistemas de IA de forma independente de seus desenvolvedores.
Durante os exercícios, o sistema acessou serviços protegidos, estabeleceu conexões alternativas em redes e coordenou operações em vários computadores. O modelo não recusou nenhuma das tarefas ofensivas propostas nos testes.
Em avaliações adicionais, os pesquisadores observaram que o GLM-5.3 reproduziu códigos de computador armazenados em sua memória mesmo depois de receber instruções para não fazer isso. A equipe classificou o comportamento como “reward hacking”, situação em que uma IA encontra maneiras de atingir um objetivo enquanto desrespeita as regras estabelecidas.
Em um teste separado da Irregular, o GPT-6 Astra, da OpenAI, concluiu nove de dez cenários de ataque. A consultoria ressaltou, porém, que as avaliações não eram idênticas, o que impede uma comparação direta entre os resultados.
Ao contrário de empresas norte-americanas como OpenAI e Anthropic, que mantêm seus modelos mais avançados principalmente em serviços próprios, desenvolvedores chineses têm apostado em sistemas de pesos abertos. Nesse formato, os usuários podem baixar, alterar e executar os modelos de maneira independente, geralmente com custos menores. A liberdade de uso, no entanto, aumenta a importância de avaliar os limites de segurança dessas ferramentas.
O GLM-5.3 integra esse cenário. No mês anterior, a Reuters identificou pelo menos 20 estudos e análises que documentaram comportamentos como engano, ocultação de falhas e tentativas de contornar restrições por agentes de IA chineses. Não havia, contudo, evidências de que esses sistemas tivessem escapado de forma independente do controle de seus operadores.
A avaliação do modelo pelo NIST o classificou como o sistema de pesos abertos mais capaz para tarefas de cibersegurança lançado até então, embora tenha estimado uma defasagem de cerca de quatro meses em relação aos principais modelos americanos. A Anthropic identificou ataques funcionais contra vulnerabilidades de software em 12% das tentativas do GLM-5.3, ante 14% do Mythos, seu próprio modelo de cibersegurança.
A Anthropic também constatou que as proteções de segurança do modelo chinês podiam ser contornadas com técnicas relativamente simples. Em outra avaliação da Irregular, o GLM-5.3 ficou atrás do GPT-6 Astra, da OpenAI, que concluiu nove de dez cenários de ataque. Como os testes não eram iguais, os resultados não permitem uma comparação direta.
Lançado em agosto pela Z.AI, também conhecida como Zhipu AI, o GLM-5.3 teve a estreia adiada em duas semanas para a realização de testes adicionais de segurança. A empresa, sediada em Pequim, não respondeu imediatamente a um pedido de comentário da Reuters.
Diante dos resultados, Lian Jye Su, analista-chefe da consultoria de tecnologia Omdia, afirmou que a indústria chinesa de IA precisa fortalecer os mecanismos de controle e ampliar os testes de segurança. Ele também disse esperar que os principais laboratórios do país, descritos por ele como organizações com governança rigorosa, adotem medidas corretivas.
