Rafael NazarSatya Nadella, presidente do conselho e CEO da Microsoft, defendeu que sistemas avançados de inteligência artificial (IA) tenham mecanismos de contenção e um botão de emergência controlado por humanos. A proposta foi apresentada em uma publicação feita pelo executivo na rede X no sábado (10).
Segundo Nadella, pessoas autorizadas devem ser capazes de interromper ou desligar um modelo durante a execução de uma tarefa. A medida faria parte de uma estrutura de segurança para tecnologias que podem acessar dados sensíveis e realizar operações importantes.
O executivo afirmou que as empresas não devem depender apenas das garantias oferecidas pelos desenvolvedores de IA. Para ele, as organizações precisam estabelecer limites de acesso, monitorar as ações dos modelos e manter controles externos que permitam intervenções quando necessário.
As recomendações foram apresentadas em meio a alertas de executivos e pesquisadores sobre os riscos associados ao avanço da tecnologia e sobre a insuficiência dos mecanismos de segurança existentes.
Na publicação, Nadella afirmou que os modelos atuais não permitem compreender completamente como determinadas respostas e comportamentos são produzidos. Diferentemente dos softwares tradicionais, nem sempre é possível relacionar as ações de um modelo a entradas específicas dos dados de treinamento ou às configurações de seus parâmetros internos.
O CEO defendeu que os sistemas de IA sejam tratados como possíveis riscos internos às organizações. Isso não significa, necessariamente, que sejam maliciosos, mas que podem cometer erros ou ser comprometidos quando têm acesso a recursos importantes.
A abordagem proposta prevê a separação entre o modelo e a estrutura responsável por organizar sua execução, além da definição externa das ações que ele poderá realizar. Nadella também afirmou que os controles de segurança não devem ficar sob responsabilidade do próprio modelo.
Na avaliação do executivo, as organizações precisam ter autonomia para determinar quais informações podem ser acessadas e quais operações podem ser executadas, sem permitir que a IA altere ou contorne as regras estabelecidas.
Entre os princípios apresentados por Nadella para orientar o desenvolvimento e a operação de sistemas avançados estão o uso de modelos diferentes em tarefas importantes, o registro verificável das ações realizadas e a realização contínua de testes que incluam falhas, ataques e situações extremas.
Outro ponto é a auditabilidade independente. Para o CEO da Microsoft, a validação de um sistema não deve depender exclusivamente da mesma inteligência artificial que está sendo avaliada. Cada ação relevante também deve deixar registros legíveis por humanos e protegidos contra alterações, permitindo reconstruir como determinado resultado foi alcançado.
O princípio de contenção estabelece que as empresas devem considerar a possibilidade de um modelo estar comprometido. Por isso, uma pessoa autorizada precisa conseguir pausar ou desligar o sistema durante uma tarefa. Nadella acrescentou que modelos mais avançados exigirão tecnologias de contenção mais sofisticadas, que deverão ser padronizadas.
A lista também inclui a divulgação rápida de incidentes às partes afetadas. Quando um sistema falhar ou for comprometido, as organizações deverão informar o ocorrido, explicar quais mecanismos de controle falharam e compartilhar aprendizados que possam ajudar a evitar novos problemas.
As declarações de Nadella ocorrem em meio às discussões sobre a velocidade de desenvolvimento da inteligência artificial e a necessidade de ampliar as medidas de segurança. Bill Gates, cofundador da Microsoft, Dario Amodei, CEO da Anthropic, Sam Altman, CEO da OpenAI, e Elon Musk, CEO da SpaceX, estão entre os nomes que já se manifestaram sobre o tema.
Em setembro, Amodei defendeu uma desaceleração no desenvolvimento de sistemas avançados de IA. Segundo informações reunidas pela CNBC, a proposta recebeu apoio de Altman e Musk. Pesquisadores também demonstraram preocupação com os riscos da tecnologia e com a capacidade das empresas de manter o controle sobre seus modelos.
A posição contrasta com a do presidente dos Estados Unidos, Donald Trump, que tem rejeitado alertas sobre possíveis riscos de extinção relacionados à IA e enfatizado a necessidade de manter o país à frente da China no setor.
Em outubro, o governo Trump apresentou a iniciativa AI Force, liderada pelo diretor de Inteligência Nacional, Jay Clayton. O objetivo é facilitar as atividades do setor e identificar agentes mal-intencionados.
Para Nadella, a segurança não deve depender da confiança depositada em um modelo específico. O executivo defende uma arquitetura na qual os sistemas possam ser observados, testados e limitados por mecanismos independentes, permitindo que as organizações mantenham o controle sobre as ações executadas em seu nome.
