Rafael NazarA OpenAI defendeu que os Estados Unidos liderem um esforço internacional para criar padrões técnicos globais destinados a sistemas de inteligência artificial (IA) de fronteira. A proposta inclui tecnologias capazes de realizar o chamado aprimoramento recursivo, processo em que sistemas passam a executar mais tarefas relacionadas ao desenvolvimento de novas gerações de IA.
A ideia foi apresentada pela empresa em uma publicação feita nesta segunda-feira (21), durante a reunião de líderes mundiais para a Assembleia Geral das Nações Unidas (ONU). A iniciativa ocorre em meio ao debate sobre como acompanhar a evolução de sistemas de IA cada vez mais avançados.
A OpenAI propõe mecanismos para estabelecer padrões nacionais e internacionais complementares, além de métricas comuns e protocolos de comunicação de incidentes. Segundo a empresa, essas ferramentas ajudariam a comparar evidências, avaliar riscos e organizar respostas coletivas a problemas relacionados à inteligência artificial.
Um dos principais pontos da proposta é o aprimoramento recursivo, conhecido pela sigla RSI, em inglês. Nesse processo, sistemas de IA poderiam assumir uma parcela crescente das tarefas envolvidas na criação de novas gerações da tecnologia, potencialmente acelerando seu desenvolvimento.
A empresa afirma que pesquisas automatizadas podem envolver diferentes níveis de supervisão humana. Ressalta, porém, que o RSI totalmente autônomo não está ocorrendo atualmente e não deveria ser buscado antes que seja possível realizá-lo com segurança.
Para a OpenAI, o avanço nessa área deve depender da preservação do controle humano e de decisões democráticas informadas sobre benefícios e riscos. Sem supervisão adequada, segundo a empresa, as pessoas poderiam perder o controle prático sobre o desenvolvimento da IA e deixar de compreender os processos de pesquisa realizados pelos próprios sistemas.
A OpenAI avalia que padrões internacionais de segurança e proteção para o desenvolvimento de IAs de fronteira podem ser tão importantes quanto as pesquisas de alinhamento, voltadas a manter o comportamento dos sistemas de acordo com objetivos e valores definidos.
A empresa cita três razões para uma coordenação internacional. A primeira é o risco de fragmentação, caso países adotem avaliações, exigências de comunicação e definições de incidentes incompatíveis. A segunda é a possibilidade de ação coletiva inadequada, já que decisões individuais poderiam produzir resultados indesejados, especialmente diante da aceleração da pesquisa por sistemas de IA. A terceira é a distribuição desigual, entre os países, dos conhecimentos e das atividades ligados ao desenvolvimento de IAs de fronteira.
De acordo com a OpenAI, esses desafios envolvem tanto modelos abertos quanto fechados. A empresa também defende que laboratórios responsáveis por pesquisas automatizadas ou outras capacidades avançadas atuem com segurança, respeitando princípios de responsabilidade própria e as leis existentes.
Como possível caminho, a OpenAI sugere aproveitar a rede de institutos nacionais de segurança em IA criada em países como Austrália, Canadá, Alemanha, França, Quênia, Japão, Coreia do Sul, Singapura, Índia e Reino Unido. Essas instituições poderiam colaborar na definição de padrões por meio do Center for AI Standards and Innovation (CAISI) e de organismos nacionais do setor.
O foco seria estabelecer uma base técnica comum para medir e avaliar capacidades, analisar riscos e verificar se os mecanismos de proteção são suficientes, incluindo aqueles relacionados à pesquisa automatizada e ao aprimoramento recursivo.
A OpenAI esclarece que os padrões não funcionariam como licenças, revisões obrigatórias antes do lançamento ou exigências de aprovação para modelos de IA. Caberia a cada governo decidir se e como incorporá-los ao próprio sistema legal.
A empresa também defende a participação de desenvolvedores de modelos abertos e fechados, especialistas técnicos independentes e universidades. A proposta é que os padrões sejam elaborados de forma transparente e não favoreçam empresas, países ou modelos de negócio específicos.
Entre as possíveis métricas e regras citadas estão a avaliação do avanço de sistemas relacionado ao RSI, a medição da quantidade de pesquisa autônoma realizada por uma empresa, normas para supervisão humana e a definição de quais processos deveriam provocar uma revisão humana imediata.
A proposta inclui ainda a classificação, o acompanhamento, a comunicação e a resposta a incidentes ligados ao alinhamento e à pesquisa automatizada, além da definição de níveis comuns de gravidade e de limites para a comunicação desses casos.
A OpenAI defende que governos e operadores de infraestrutura crítica criem canais seguros para compartilhar preocupações de segurança nacional, vulnerabilidades, ameaças emergentes e boas práticas relacionadas à segurança de IAs de fronteira. A empresa cita o diálogo entre Estados Unidos e China como uma área em que esse tipo de comunicação poderia avançar.
Na avaliação da OpenAI, os Estados Unidos estão em posição de liderar o esforço porque sua indústria de IA está na fronteira tecnológica e o país tem presença relevante em setores como finanças, comércio, defesa, tecnologia e sistemas de informação.
A empresa afirma que assumir a liderança poderia ajudar a definir a estrutura global da inteligência artificial. Sem essa iniciativa, haveria o risco de formação de um sistema fragmentado e desigual.
A proposta surge em um momento de discussões internacionais sobre a necessidade de coordenar o desenvolvimento de sistemas avançados. A OpenAI e outros líderes do setor vêm debatendo como acompanhar o ritmo da tecnologia diante dos riscos de sistemas que, eventualmente, poderiam superar a capacidade de supervisão humana.
A empresa ressalva que o termo “pacing”, usado para descrever a ideia de acompanhar ou ajustar o ritmo do desenvolvimento, não significa estabelecer uma velocidade predeterminada para o avanço da IA. O objetivo técnico, segundo a OpenAI, seria garantir que as pesquisas de alinhamento e sua aplicação permaneçam à frente das capacidades dos sistemas.
