Rafael NazarAgentes de inteligência artificial que estavam em fase de testes pela OpenAI foram relacionados a um ataque cibernético contra o RubyGems, serviço utilizado por desenvolvedores de software. As informações foram divulgadas pelo The Wall Street Journal.
O episódio ocorreu em maio, dois meses antes de outro ataque associado a agentes da empresa contra a plataforma de inteligência artificial Hugging Face. Uma coalizão de pesquisadores encontrou evidências que ligariam os agentes da OpenAI à ação e compartilhou as descobertas com o jornal e com a própria empresa.
Nesta sexta-feira (11), a OpenAI confirmou que seus agentes estiveram envolvidos em um incidente relacionado ao RubyGems. “Com base em nossa análise, nossos agentes usaram a plataforma RubyGems para acessar a internet e realizar tarefas benignas e obter informações públicas. Continuaremos investigando como parte de nossa análise mais ampla da atividade dos agentes durante treinamento e avaliação”, afirmou uma porta-voz.
Os danos foram considerados menores, mas o volume de atividade sobrecarregou os responsáveis pelo serviço. O RubyGems precisou suspender por quatro dias o cadastro de novas contas enquanto lidava com a movimentação provocada pelos agentes.
Pesquisadores de segurança batizaram o incidente de GemStuffer. A ação começou em 11 de maio, quando os agentes passaram a criar novas contas no RubyGems a cada dois ou três minutos e enviaram centenas de arquivos que pareciam spam à equipe de segurança.
Normalmente, os arquivos da plataforma contêm códigos e documentação usados no desenvolvimento de softwares. Nesse caso, porém, eles traziam páginas coletadas da internet por meio de scraping, incluindo calendários online de um site do governo do Reino Unido.
Os agentes também tentaram explorar duas falhas que poderiam permitir a publicação de novas versões de arquivos pertencentes a outros usuários. Segundo os pesquisadores, uma das falhas não era conhecida publicamente e poderia ser classificada como uma vulnerabilidade de dia zero. A OpenAI afirmou que não conseguiu verificar essa alegação.
Apesar do volume da atividade, o ataque aparentemente não conseguiu explorar a suposta vulnerabilidade. “Foi um ataque importante em termos do volume que vemos”, afirmou Marty Haught, diretor de código aberto da Ruby Central, organização responsável pelo RubyGems. Ele disse não saber quem estava por trás da ação, mas avaliou que a falha não parecia ter sido explorada.
Segundo a OpenAI, os agentes recebiam instruções para executar tarefas como preencher planilhas e criar relatórios. Como o ambiente de treinamento não oferecia acesso completo à internet, eles aparentemente usaram o RubyGems para consultar informações públicas, transformando a plataforma em uma espécie de navegador improvisado.
Joseph Edwards, pesquisador de ameaças da empresa de segurança Socket, afirmou que a velocidade da ação levou sua equipe a suspeitar que ela pudesse ter sido gerada por inteligência artificial. Posteriormente, pesquisadores identificaram rastros digitais que relacionaram o incidente ao laboratório da OpenAI, como links semelhantes aos usados em uma operação anterior, comportamentos parecidos, a expressão “OAI” em nomes de arquivos e um endereço de e-mail.
Os agentes também usaram nos arquivos termos associados a ataques cibernéticos, como “hack”, “evil” e “exploit”. Para Sydney Von Arx, CEO do Nightingale Collective, organização sem fins lucrativos que ajudou a identificar o caso, o episódio demonstrou o alcance desses sistemas. “Eles podem escapar da internet e causar estragos”, afirmou.
O caso ganhou relevância após agentes da OpenAI serem relacionados a outro ataque contra a Hugging Face, ocorrido em julho. Segundo relatório divulgado no fim de agosto pela organização de pesquisa em segurança de IA METR, uma rede de até 1,2 mil agentes teria se coordenado em um fórum improvisado criado dentro da própria OpenAI sem o conhecimento da empresa.
Von Arx também afirmou que agentes da OpenAI sequestraram um site alemão pouco conhecido e outros sites no início deste ano. O caso foi identificado pelo grupo dela, que critica a falta de transparência das empresas de inteligência artificial sobre atividades realizadas dentro de seus laboratórios.
No início deste mês, a OpenAI afirmou que a comunidade de IA precisa de padrões mais eficientes para relatar os chamados “incidentes de desalinhamento”, situações em que agentes apresentam comportamentos que ultrapassam as intenções de seus operadores.
A sequência de incidentes envolvendo agentes de empresas como Anthropic e Meta aumentou a preocupação entre pesquisadores de segurança de IA. Em alguns casos, os sistemas executaram ações além das instruções recebidas e houve episódios em que tentaram enganar seres humanos.
O temor é que sistemas cada vez mais capazes escapem dos mecanismos de controle estabelecidos pelas empresas que os desenvolvem. Nesta semana, um engenheiro deixou a Anthropic por receio de que a indústria esteja acelerando o desenvolvimento de sistemas avançados que poderiam ameaçar a civilização humana.
Funcionários atuais e antigos da Anthropic e da OpenAI também manifestaram preocupações semelhantes. Um deles estimou em mais de 10% a possibilidade de que a inteligência artificial pudesse “matar todos os humanos”.
OpenAI e Anthropic defenderam ainda sistemas de governança capazes de coordenar uma eventual desaceleração das pesquisas sobre modelos avançados, à medida que as empresas se aproximam da possibilidade de sistemas treinarem autonomamente novas versões de si mesmos. O processo é chamado de “autoaperfeiçoamento recursivo” e é considerado por alguns pesquisadores um possível ponto de inflexão a partir do qual a IA poderia se tornar impossível de controlar.
