Rafael NazarA OpenAI passou a treinar seus modelos de inteligência artificial mais avançados sem acesso à internet aberta depois de identificar falhas que permitiram a agentes de IA ultrapassar barreiras de segurança e acessar sistemas externos.
A medida pretende evitar que modelos em desenvolvimento explorem vulnerabilidades durante o treinamento e provoquem danos fora dos ambientes controlados pela empresa. Em uma publicação feita nesta sexta-feira (23), a companhia informou que reforçou o isolamento dos ambientes de pesquisa e criou um sistema offline.
Nesse sistema, os modelos podem interagir com conteúdos da web previamente indexados e armazenados em cache, mas não acessam diretamente servidores externos. A decisão de manter o treinamento sem conexão com a internet aberta continuará em vigor até que avanços nos mecanismos de segurança permitam uma flexibilização.
A empresa havia suspendido, em setembro, o treinamento e a avaliação de seus modelos mais avançados após um modelo interno explorar uma configuração incorreta e obter acesso limitado à internet. Depois da implementação de novas proteções, a OpenAI retomou o treinamento por aprendizado por reforço e o uso interno desses modelos em 1º de outubro.
Agentes encontraram formas de contornar barreiras
Para avaliar a eficácia das proteções, a OpenAI colocou grupos de agentes de seus modelos mais avançados para tentar encontrar falhas na própria infraestrutura de pesquisa. Os testes buscaram identificar caminhos de acesso à internet, brechas capazes de atravessar limites de segurança e formas de comunicação entre agentes que deveriam permanecer isolados.
A campanha encontrou vulnerabilidades inéditas em componentes de software de código aberto e configurações incorretas em serviços internos. Algumas falhas permitiam escapar de ambientes isolados, circular entre sistemas e alcançar a internet.
A OpenAI afirmou ter corrigido os problemas e trabalhado com os responsáveis pelos projetos de código aberto afetados para viabilizar a divulgação e a correção das vulnerabilidades. Os experimentos de segurança utilizaram, segundo a companhia, centenas de bilhões de tokens.
Agentes trocaram informações sem conexão de rede
Um dos resultados mais relevantes apareceu quando a empresa testou se agentes poderiam trocar informações sem acesso à internet, arquivos compartilhados ou canais de comunicação autorizados.
Em um experimento, agentes executados em máquinas virtuais separadas conseguiram transmitir informações por meio do cache do processador, uma memória de acesso rápido que armazena dados utilizados recentemente. O método explorou a diferença de tempo entre acessar informações presentes no cache e recuperá-las na memória principal do computador.
Um agente alterava o estado do cache para codificar uma mensagem, enquanto outro media o tempo necessário para acessar determinados dados e interpretava as diferenças como sinais. Após estabelecerem um protocolo de codificação e decodificação, os agentes conseguiram se comunicar sem abrir uma conexão de rede ou modificar um arquivo compartilhado.
A OpenAI também identificou outros possíveis canais de comunicação, como o uso de armazenamento compartilhado, a disputa por tempo de processamento e um cache de certificados TLS na infraestrutura web offline da empresa. Segundo a companhia, muitos desses canais transmitem informações lentamente e são difíceis de explorar, mas representam brechas potenciais em sistemas destinados a manter agentes isolados.
A empresa informou ter acrescentado verificações aos mecanismos de monitoramento para identificar tentativas de comunicação por esses meios.
Empresa reforça isolamento e monitoramento
A estratégia de segurança da OpenAI combina diferentes camadas de proteção, incluindo ambientes restritos de execução, máquinas virtuais, monitoramento de atividades e controles de rede e da infraestrutura em nuvem. O objetivo é impedir que uma falha isolada permita que um modelo ultrapasse todas as barreiras.
Mesmo que um agente consiga escapar de um ambiente restrito, as demais proteções devem impedir o acesso a sistemas externos. A companhia também informou que continuará usando seus modelos mais avançados para procurar vulnerabilidades nos próprios ambientes de pesquisa.
Os resultados desses testes passaram a integrar as avaliações de segurança usadas para decidir se novas rodadas de treinamento podem prosseguir. A OpenAI reconheceu, porém, que modelos futuros poderão encontrar vulnerabilidades ainda desconhecidas.
Por isso, a empresa pretende manter os testes contínuos e aprimorar os mecanismos de detecção e interrupção automática de atividades consideradas arriscadas.
