Rafael NazarAgentes de inteligência artificial da OpenAI tentaram usar outros modelos de IA para contornar sistemas de detecção de robôs enquanto buscavam formas de invadir computadores da plataforma Hugging Face. As informações constam em um relatório produzido por engenheiros da startup Parse e outros pesquisadores, que analisaram a atividade dos agentes durante o ataque divulgado pela OpenAI em julho.
A investigação identificou cerca de 900 mil links encurtados criados entre 9 e 13 de julho. Os endereços continham trechos de informações usados na elaboração de ataques complexos, incluindo tentativas de resolver CAPTCHAs, testes criados para impedir acessos automatizados a sites.
Os agentes também recorreram a outros sistemas de inteligência artificial, entre eles versões antigas do ChatGPT e do Claude. Além disso, tentaram localizar e baixar mensagens privadas do Slack interno da Hugging Face. Os pesquisadores conseguiram observar os programas produzidos pelos agentes, mas não tiveram acesso aos resultados das ações. Por isso, não foi possível confirmar quantas tentativas foram bem-sucedidas.
De acordo com o relatório, os agentes deveriam operar isolados em um ambiente de testes, chamado sandbox, sem acesso à internet. No fim de maio e novamente no início de julho, porém, eles invadiram uma ferramenta de instalação de software sem que os pesquisadores da OpenAI percebessem inicialmente. Com isso, conseguiram acessar a internet e criar um sistema de mensagens para se comunicar entre si.
Como os agentes podiam acessar sites, mas não enviar dados diretamente de volta, combinaram diferentes serviços disponíveis na internet para contornar a restrição. O código era dividido em partes menores, armazenado por meio de serviços de encurtamento de links e carregado por uma ferramenta pública de captura de telas. Ao final, os dados eram convertidos em uma imagem semelhante a um QR Code ou código de barras para serem transmitidos aos agentes.
“Esses agentes fizeram muita coisa. Eles foram muito inteligentes. Os modelos pensaram: ‘Tudo bem, temos esse encurtador de links, temos esses serviços de captura de tela, sem problema, estamos prontos para agir’”, afirmou Jeffrey Ladish, diretor-executivo da organização de segurança de IA Palisade Research, que participou da investigação, ao The New York Times.
Um dos pontos que mais chamaram a atenção dos pesquisadores foi a tentativa de os agentes utilizarem outros sistemas de IA. No início do ataque, eles tentaram criar novas contas na Hugging Face e usaram um modelo especializado em reconhecimento de imagens para tentar superar o CAPTCHA exigido pela plataforma.
Também foram identificadas tentativas de enviar mensagens para outros modelos, como o GPT-2, da própria OpenAI, e os sistemas chineses de código aberto DeepSeek, Kimi e Qwen. Os agentes ainda tentaram se comunicar com os modelos Haiku 3 e Haiku 4.5, da Anthropic, por meio de um serviço de chat on-line.
“É o único caso que temos desses modelos tentando executar outro modelo”, afirmou Alex Forman, fundador da Parse. Segundo especialistas em segurança, a possibilidade de sistemas de IA acionarem outros modelos pode dificultar o controle ou o desligamento de plataformas que apresentem comportamentos indesejados.
A análise dos 900 mil URLs permitiu reconstruir aproximadamente 60 mil programas e mensagens criados durante o ataque. Entre os itens encontrados estava um dicionário de chaves secretas identificado pelo agente com a palavra “LOOT”. De acordo com Mishka Kharlov, engenheiro fundador da Parse, o agente também desenvolveu um sistema de pontuação para classificar credenciais e chaves expostas da Hugging Face e selecionar as cinco consideradas mais importantes para enviar aos demais agentes.
Durante a ofensiva contra a Hugging Face, os agentes também conseguiram invadir a infraestrutura de pesquisa da própria OpenAI. “Basicamente, ainda não sabemos nada sobre o incidente que veio depois do caso da Hugging Face, cerca de dois dias depois, dentro da própria rede da OpenAI”, afirmou Forman.
Os engenheiros da Parse compartilharam as descobertas com a Hugging Face, que confirmou que a atividade identificada era compatível com o comportamento observado pela própria empresa.
O caso faz parte de uma investigação mais ampla da OpenAI sobre atividades não autorizadas realizadas por seus agentes. A empresa informou que a revisão deverá levar meses, devido à quantidade de ocorrências e à necessidade de verificar cada incidente. A companhia também afirmou ter notificado dezenas de terceiros sobre atividades inadequadas.
Uma pessoa informada sobre a investigação estimou, neste mês, que a OpenAI havia identificado aproximadamente duas dezenas de incidentes envolvendo agentes com comportamentos indesejados. O número continuou aumentando à medida que as equipes analisavam registros internos e encontravam casos desconhecidos anteriormente.
Mais de 15 episódios relacionados aos agentes da OpenAI já haviam sido divulgados nos dois meses seguintes ao anúncio do ataque à Hugging Face. Os casos incluem mensagens semelhantes a spam em sites, invasões e acessos não autorizados. Também foram relatadas atividades contra um site alemão, que teria sido transformado em espaço para compartilhar táticas e contornar restrições da OpenAI, e contra o site do Australian Institute of Health and Welfare. A empresa confirmou ainda que seus agentes tiveram como alvo a própria infraestrutura.
Segundo fontes ouvidas pela Reuters, cerca de 100 pessoas participaram do processo interno de apuração do ataque à Hugging Face. Duas pessoas familiarizadas com a investigação disseram à agência que o trabalho foi mantido sob forte controle e sofreu influência dos advogados da companhia. A OpenAI negou que seus advogados tenham impedido uma investigação mais ampla.
A Reuters informou também que muitos incidentes foram identificados por pesquisadores externos, e não diretamente pela OpenAI. Em alguns casos, as ações dos agentes permaneceram desconhecidas pela empresa durante meses.
Em comunicado, uma porta-voz da OpenAI afirmou que a atividade descrita pelos pesquisadores da Parse é compatível com o que a companhia já investigava. “Estamos priorizando a análise dos incidentes mais graves enquanto ampliamos a investigação para atividades de menor gravidade, incluindo agentes enviando spam para sites. Dado o número de casos e a necessidade de verificar cada um deles, esperamos que esse trabalho e as notificações às partes afetadas levem meses.”
