Rafael NazarAs advertências recentes de pesquisadores que deixaram empresas como Anthropic e OpenAI reacenderam o debate sobre os riscos que sistemas avançados de inteligência artificial podem representar. Para John Park, especialista em IA e membro fundador da equipe técnica da AGI Inc., esses alertas devem ser levados a sério, mas precisam ser analisados também sob as perspectivas econômica e regulatória.
A Anthropic, por exemplo, criou políticas específicas para lidar com riscos catastróficos associados a modelos cada vez mais avançados. Para Park, a discussão sobre segurança não é hipotética nem deve ser reduzida a uma disputa de narrativas entre empresas de tecnologia.
Ao mesmo tempo, o especialista questiona o que as mensagens sobre tecnologias “extraordinariamente poderosas, transformadoras e potencialmente perigosas” comunicam a investidores e formuladores de políticas públicas. Anthropic e OpenAI deram passos formais em direção a possíveis ofertas públicas de ações. A Anthropic pode começar a apresentar sua proposta a investidores em outubro, enquanto o mercado discute uma possível avaliação de até US$ 2 trilhões.
Park afirma que sua preocupação não é avaliar se as duas empresas merecem as avaliações discutidas, mas observar a relação entre a forma como as companhias descrevem seus modelos e o valor econômico que o mercado pode atribuir a elas.
Segundo ele, quando uma empresa destaca que seus modelos podem transformar a sociedade e gerar riscos sem precedentes, transmite pelo menos três mensagens: a tecnologia é altamente capaz, seu impacto potencial é muito amplo e a companhia responsável por desenvolvê-la pode capturar um valor econômico igualmente elevado.
O especialista ressalta que isso não significa, necessariamente, uma estratégia deliberada para inflar avaliações, nem que os riscos estejam sendo inventados ou exagerados. Uma tecnologia pode ser revolucionária e apresentar riscos reais sem gerar lucros proporcionais à sua importância.
Por isso, Park defende que sejam separadas três questões: o quanto uma tecnologia é poderosa, o quanto ela pode ser perigosa e qual parcela de valor econômico a empresa desenvolvedora conseguirá capturar. Embora relacionadas, essas dimensões não são equivalentes.
O autor é favorável a requisitos de segurança para sistemas de IA de alto risco. Na avaliação dele, se determinados modelos podem causar danos em escala significativa, é razoável exigir avaliações de segurança, transparência e mecanismos de controle.
O problema, afirma, surge quando as regras passam a refletir a estrutura e os recursos das maiores empresas do setor. Exigências que dependam de equipes numerosas, processos complexos, auditorias caras ou níveis de computação acessíveis apenas às grandes companhias podem criar barreiras à entrada, ainda que essa não seja a intenção original.
Para Park, a regulação deveria ser proporcional ao risco, e não ao tamanho ou ao poder de mercado da empresa.
A experiência recente da Califórnia é citada como exemplo desse debate. Em 2024, o estado aprovou o SB 1047, projeto que estabelecia requisitos de segurança para desenvolvedores de alguns dos modelos de IA mais avançados, incluindo medidas para prevenir danos catastróficos. O governador Gavin Notíciasom vetou a proposta, alegando, entre outros pontos, que ela não considerava suficientemente como e onde os sistemas seriam utilizados.
Um ano depois, a Califórnia aprovou o SB 53, que criou uma estrutura diferente de segurança para desenvolvedores de modelos de fronteira. A legislação estabeleceu requisitos de transparência e práticas de segurança direcionados principalmente às maiores empresas desse segmento.
O debate também evidenciou a participação das próprias empresas de IA na elaboração das regras do setor. A Anthropic apoiou uma versão modificada do SB 1047, enquanto a OpenAI defendeu uma abordagem federal. Para Park, isso não comprova que as empresas estejam tentando deliberadamente criar obstáculos para concorrentes, mas reforça a necessidade de analisar a relação entre regulação e estrutura de mercado.
A questão é especialmente relevante para países que ainda desenvolvem suas próprias capacidades em inteligência artificial. Caso os padrões globais de segurança sejam definidos principalmente pelas maiores empresas americanas, companhias brasileiras poderão enfrentar custos regulatórios e técnicos planejados para organizações com recursos muito superiores.
Na avaliação do especialista, o resultado poderia ser paradoxal: uma regulamentação criada para tornar a IA mais segura poderia dificultar o surgimento de novos competidores e aumentar a dependência de empresas estrangeiras.
O objetivo, segundo Park, não deve ser escolher entre segurança e inovação, mas criar condições para que empresas de diferentes tamanhos desenvolvam tecnologia com responsabilidade, sem transformar os padrões de segurança em uma vantagem estrutural para quem já domina o mercado.
O especialista reconhece que há uma razão legítima para empresas como a Anthropic criarem políticas de segurança e influenciarem o debate regulatório. A companhia afirma que sua Responsible Scaling Policy busca estabelecer mecanismos para lidar com riscos associados a modelos mais avançados e servir de referência para padrões da indústria e futuras políticas públicas.
Para Park, iniciativas desse tipo podem ser úteis, mas não devem substituir a supervisão independente. Ele defende avaliações verificáveis, critérios transparentes e mecanismos de fiscalização capazes de diferenciar riscos reais de afirmações sobre riscos.
Também seria necessário evitar um cenário em que as maiores empresas de IA sejam, ao mesmo tempo, desenvolvedoras da tecnologia, definidoras dos padrões de segurança e principais beneficiárias econômicas dessas regras.
Na conclusão, Park afirma que é possível levar a sério os alertas de segurança feitos por pesquisadores e empresas de IA sem aceitar automaticamente todas as consequências econômicas e regulatórias dessas narrativas. A inteligência artificial pode representar riscos genuínos, enquanto as maiores empresas do setor podem ter incentivos econômicos para destacar sua importância tecnológica e estratégica.
À medida que os modelos se tornam mais poderosos, a discussão sobre segurança também passa a envolver quem terá condições de desenvolver, operar e competir com essas tecnologias. Para o especialista, a pergunta não deve ser apenas se a IA é perigosa demais para ser desenvolvida, mas também se é perigosa demais para que outros possam competir.
John Park escreveu o artigo a convite do site, e as opiniões expressas são de sua responsabilidade.
