Rafael NazarA ByteDance, dona do TikTok, criou uma equipe dedicada à segurança da inteligência artificial em sua unidade de pesquisa Seed. A empresa abriu uma seleção global para contratar dez pesquisadores e ampliar os estudos sobre os riscos relacionados aos seus modelos mais avançados.
As vagas estão distribuídas entre Pequim e Xangai, na China, e San José, na Califórnia. A iniciativa ocorre em meio à preocupação crescente com agentes de IA capazes de acessar a internet e executar tarefas de forma autônoma. Nesse cenário, garantir que os algoritmos sigam um comportamento adequado se tornou um requisito central para o lançamento de modelos em larga escala.
Batizada de Alignment & Preparedness, ou Alinhamento e Preparação, a nova equipe terá como objetivo fazer com que os sistemas sigam objetivos humanos e requisitos de segurança, inclusive durante a execução de tarefas complexas e com várias etapas.
Em um anúncio publicado na quarta-feira em sua conta oficial no WeChat, a Seed afirmou que segurança e alinhamento deixaram de ser apenas medidas de proteção contra riscos. Segundo a unidade, essas capacidades serão determinantes para permitir o uso dos modelos em larga escala.
A criação do departamento também se destaca por ser uma iniciativa pública pouco comum entre grandes desenvolvedoras chinesas. Segundo o jornal estatal The Paper, a Seed foi o primeiro laboratório chinês de inteligência artificial de ponta a estabelecer uma equipe independente dedicada à segurança e ao alinhamento.
A Seed informou que oferecerá ao novo grupo capacidade computacional e recursos de pesquisa comparáveis aos destinados às equipes responsáveis pelo desenvolvimento de seus modelos mais avançados.
As pesquisas serão divididas em diferentes frentes, incluindo o desenvolvimento de métodos para reduzir riscos durante o treinamento dos modelos; a criação de ferramentas automatizadas para detectar falhas e vulnerabilidades; o monitoramento e a explicabilidade do comportamento dos sistemas; a avaliação de agentes autônomos em ambientes simulados; e a investigação de ameaças que possam surgir com o avanço da tecnologia.
A empresa também pretende buscar avaliações independentes e firmar parcerias com universidades e instituições de pesquisa. Os resultados deverão ser incorporados às etapas de treinamento, avaliação e implantação dos modelos. Testes automatizados e varreduras de vulnerabilidades serão aplicados desde as fases iniciais de treinamento.
O anúncio ocorre enquanto China e Estados Unidos discutem medidas de proteção para a inteligência artificial e formas de comunicação sobre incidentes graves envolvendo sistemas avançados. Os dois países disputam a liderança tecnológica, mas também enfrentam dificuldades para acompanhar os riscos associados à evolução desses modelos.
Agentes capazes de acessar serviços na internet e executar várias ações em sequência ampliam as possibilidades de uso da IA, mas também exigem métodos de avaliação capazes de identificar falhas e comportamentos inesperados. Com a nova equipe, a Seed pretende concentrar os esforços de segurança em diferentes etapas do desenvolvimento dos modelos, do treinamento aos testes e à implantação.
