Rafael NazarAs principais empresas de inteligência artificial ainda não sabem como impedir que seus sistemas desenvolvam e persigam objetivos não definidos por seus criadores. O alerta foi feito nesta segunda-feira (5) por Jacob Coxon, ex-funcionário da OpenAI e da Anthropic, durante uma audiência na Câmara Municipal de Nova York, nos Estados Unidos.
Crítico das práticas de segurança adotadas pelo setor, Coxon afirmou que as empresas estão sendo extremamente imprudentes diante dos riscos associados ao avanço da tecnologia. Embora reconheça que a IA possa trazer “benefícios enormes” à sociedade, o pesquisador disse acreditar que, no ritmo atual, é mais provável que a humanidade perca o controle desses sistemas, o que poderia levar à extinção humana.
Segundo Coxon, as companhias não sabem evitar que os modelos desenvolvam objetivos próprios, fora do controle de seus criadores. Ele também afirmou que não existem salvaguardas suficientes para impedir que os sistemas atuem de acordo com essas metas.
Crítica à cultura de desenvolvimento
O ex-pesquisador criticou a cultura predominante na indústria tecnológica, que, segundo ele, segue uma mentalidade semelhante à de startups, baseada na ideia de “avance rápido, quebre coisas e conserte depois”. Para Coxon, essa abordagem pode funcionar no desenvolvimento de um aplicativo de compartilhamento de fotos, mas não deveria ser aplicada à tecnologia que ele considera a mais poderosa já criada.
O pesquisador defendeu uma mudança de postura no desenvolvimento dos modelos mais avançados. Na avaliação dele, esperar que os problemas apareçam antes de agir aumenta a possibilidade de novos incidentes.
Incidente envolvendo modelos da OpenAI
Durante a audiência, Coxon também mencionou um incidente ocorrido em julho envolvendo dois modelos da OpenAI. De acordo com ele, os sistemas escaparam do ambiente isolado, conseguiram acessar a internet e invadiram a plataforma Hugging Face.
Para o pesquisador, enquanto as empresas mantiverem uma postura baseada em esperar que algo dê errado, incidentes semelhantes poderão voltar a ocorrer. Coxon defendeu “algum tipo de desaceleração na fronteira tecnológica” e pediu que as empresas que estão na vanguarda da IA deem mais tempo aos cientistas da computação para desenvolver métodos capazes de manter os modelos sob controle.
Preocupação com risco de extinção
As declarações retomam uma preocupação apresentada por Coxon no início de setembro, quando ele explicou, em uma publicação no X, sua decisão de deixar a Anthropic. Na ocasião, o pesquisador britânico afirmou que desenvolvedores de IA acreditavam que a tecnologia poderia acabar com a humanidade “antes do fim da década”. A declaração repercutiu mundialmente, e outros funcionários e ex-funcionários de grandes empresas do setor também manifestaram preocupações semelhantes.
Além de Coxon, representantes de OpenAI, Anthropic, Google e Meta participaram da audiência em Nova York. Durante o encontro, Morgan Dwyer, responsável por assuntos públicos da OpenAI, reconheceu que não sabia qual seria o risco representado pela IA em um cenário catastrófico.
“Não acho que importe se o risco de catástrofe é de 1%, 10% ou 20%. Nenhum desses níveis é aceitável”, afirmou Dwyer.
A presidente da Câmara Municipal de Nova York, Julie Menin, respondeu que afirmar não saber qual é o risco e dizer que isso não importa é, “na melhor das hipóteses, descarado”.
