Rafael NazarPesquisadores da Universidade de Ciência e Tecnologia da China identificaram diferenças nas respostas de cinco chatbots submetidos a testes de personalidade em idiomas distintos. Segundo o estudo, mudanças entre inglês, mandarim e francês alteraram aspectos sociais das respostas, como negatividade, curiosidade e referências culturais.
A pesquisa avaliou o ChatGPT-4o, o Gemini 2.0 Flash, o DeepSeek-V3, o Ernie 3.5 e o Le Chat. Todos responderam às perguntas em inglês e mandarim, enquanto o Le Chat, desenvolvido na França, também foi testado em seu idioma nativo. Os resultados foram publicados na revista Royal Society Open Science.
Os chatbots responderam a cerca de 60 questões do Big Five Inventory-2, um dos testes de personalidade mais utilizados na área. O questionário avalia extroversão, agradabilidade, responsabilidade, negatividade e abertura a novas ideias. As inteligências artificiais foram orientadas a responder como “elas mesmas”, sem imitar uma personalidade específica.
As respostas foram dadas 30 vezes em cada um dos dois idiomas principais, entre janeiro e março de 2025. Embora os resultados tenham indicado, de modo geral, baixa negatividade, também foram observadas diferenças relevantes entre os sistemas.
Na avaliação de abertura mental, por exemplo, o ChatGPT-4o atingiu pontuação de 4,74 em inglês e 4,03 em mandarim, em uma escala de zero a cinco. O DeepSeek-V3 apresentou o resultado inverso: marcou 4,81 em mandarim e 4,38 em inglês.
De acordo com o estudo, as IAs desenvolvidas nos Estados Unidos e na França se destacaram em “amabilidade e adaptabilidade” nas respostas em inglês. Já os sistemas relacionados à China apresentaram resultados mais altos em aspectos ligados a conhecimentos e curiosidades.
O Gemini 2.0 Flash também teve um desempenho de destaque. O chatbot do Google apresentou pontuações mais altas em consciência e mais baixas em negatividade quando respondeu em mandarim.
Os pesquisadores ressaltam que os resultados não significam que os chatbots tenham personalidade ou sentimentos. A análise indica, porém, que o idioma e o treinamento dos sistemas podem influenciar os traços demonstrados nas respostas.
Além dos testes com as inteligências artificiais, a equipe comparou os resultados com dados de questionários respondidos por pessoas dos mesmos países associados aos sistemas avaliados. As respostas divergiram consideravelmente, sobretudo em aspectos culturais.
Para os pesquisadores, a diferença reforça as limitações do uso de inteligências artificiais como substitutas de participantes humanos em estudos científicos.
