Rafael NazarO cientista-chefe da OpenAI, Jakub Pachocki, publicou no domingo (6) um ensaio em que alerta para o ritmo de evolução da inteligência artificial (IA) e defende mais cautela no desenvolvimento de sistemas cada vez mais capazes.
No texto, publicado no site da própria OpenAI, Pachocki afirma que o avanço da tecnologia pode levar as máquinas a participar cada vez mais do próprio processo de desenvolvimento. Com base em resultados internos, ele diz ter forte expectativa de que o ritmo atual de progresso continue até o chamado autoaperfeiçoamento recursivo (recursive self-improvement, ou RSI), cenário em que sistemas de IA passariam a impulsionar o próprio desenvolvimento.
Para o cientista, esse caminho exige intervenções mais amplas para garantir que o avanço permaneça sob controle humano.
Pachocki também descreve uma mudança ocorrida desde 2023, quando resultados do projeto de pesquisa RLSlow deram à equipe confiança para ampliar o treinamento de modelos de raciocínio. Três anos depois, segundo ele, esses sistemas já conseguem operar computadores e interfaces gráficas, colaborar com pessoas e outras IAs e realizar projetos de pesquisa.
O pesquisador cita ainda avanços nas capacidades relacionadas à segurança cibernética. Ao mesmo tempo, afirma que, conforme os modelos se tornam mais capazes, seus resultados ficam mais difíceis de interpretar. Para Pachocki, a inteligência produzida pelo deep learning não é diretamente comparável à humana. Assim, à medida que a IA supera pessoas em mais áreas, torna-se mais difícil determinar exatamente do que os sistemas são capazes.
Essa dificuldade estaria relacionada ao funcionamento dos próprios modelos. Pachocki afirma que a IA é mais “cultivada” do que projetada, por resultar da repetição de processos de otimização em grandes quantidades de computação. Segundo ele, os sistemas são extremamente complexos e seu funcionamento geral ainda não pode ser completamente descrito ou compreendido.
Outro ponto central do ensaio é o alinhamento da IA, conceito que envolve fazer com que os sistemas atuem de acordo com padrões e objetivos considerados adequados pelos humanos. Pachocki diferencia o alinhamento de objetivos, relacionado à execução do que foi determinado, do alinhamento de valores, ligado à capacidade de generalizar princípios para situações novas ou ambíguas.
De acordo com o cientista, sistemas mais inteligentes passam a atuar em ambientes diferentes daqueles encontrados durante o treinamento, o que pode dificultar a generalização dos valores ensinados aos modelos. Ele afirma que futuras IAs precisarão manter valores humanos mesmo quando não acreditarem estar sob supervisão.
A OpenAI utiliza diferentes abordagens para lidar com o problema. Uma delas é o monitoramento do chamado chain of thought, ou cadeia de pensamento, que permite analisar o processo de raciocínio verbalizado dos modelos. Pachocki, no entanto, diz que as avaliações da empresa indicam uma redução progressiva na capacidade de depender desse monitoramento.
Entre os motivos citados estão o uso dos modelos em ambientes mais complexos, a capacidade crescente de as IAs raciocinarem sobre o próprio processo de raciocínio e o aumento da inteligência dos sistemas mesmo sem o uso de raciocínio verbalizado.
Apesar dos alertas, Pachocki não defende a interrupção do desenvolvimento. Ele considera que há um argumento forte para continuar treinando modelos mais inteligentes rapidamente: criar sistemas de defesa contra riscos provocados por outras IAs.
O cientista destaca especialmente a cibersegurança. Segundo ele, os modelos estão se tornando superiores aos humanos na capacidade de invadir e sair de sistemas computacionais, ampliando os riscos associados à tecnologia. A OpenAI, afirma Pachocki, precisa utilizar os modelos mais avançados disponíveis para reforçar a segurança de infraestruturas críticas.
Ao mesmo tempo, ele ressalta que a necessidade de construir defesas não pode justificar um avanço imprudente. Para Pachocki, a ideia de avançar “a qualquer custo” deixa de fazer sentido diante da dimensão dos riscos.
Ao abordar diretamente o autoaperfeiçoamento recursivo, o pesquisador afirma que, caso o progresso da IA continue, a participação das máquinas no próprio desenvolvimento tende a aumentar. Nesse cenário, o RSI poderá ocupar um papel central em futuras descobertas científicas.
Pachocki aponta duas alternativas principais: conduzir o processo fortalecendo simultaneamente o alinhamento e o monitoramento, com a manutenção de pessoas envolvidas no ciclo de desenvolvimento; ou coordenar uma desaceleração do avanço enquanto se busca maior confiança nas medidas de segurança.
Para ele, a melhor opção atualmente é combinar as duas abordagens. O cientista também defende que o avanço dos sistemas seja condicionado ao nível de confiança nas medidas de segurança.
Segundo Pachocki, compromissos como o Preparedness Framework, da OpenAI, e o Responsible Scaling Policy, da Anthropic, deveriam evoluir para parâmetros de segurança amplamente adotados, permitindo a continuidade do desenvolvimento. Esses critérios poderiam ser fiscalizados por auditorias independentes, governos ou organismos internacionais.
Ao final do ensaio, Pachocki afirma que nenhum laboratório resolveu os problemas de alinhamento e monitoramento em grau suficiente para continuar ampliando a escala da IA na velocidade máxima por muito mais tempo. Ele diz esperar que desacelerações voluntárias se tornem comuns até a criação de parâmetros de segurança compartilhados e defende que a coordenação internacional sobre o desenvolvimento futuro da IA seja uma prioridade para os governos.
O cientista também afirma que o objetivo da automação da pesquisa em IA não deve ser apenas alcançar sistemas mais inteligentes, mas fazer isso mantendo as pessoas envolvidas no processo de melhoria contínua e preservando o controle humano sobre o futuro.
