Rafael NazarOs chatbots de inteligência artificial (IA) estão se tornando cada vez mais sofisticados, mas a introdução de recursos de memória pode levar a situações inesperadas. Embora essas funcionalidades visem personalizar a experiência do usuário, elas também podem fazer com que informações desatualizadas influenciem as interações futuras, gerando desconforto e confusão.
Um exemplo prático é o relato de Brian Del Rosario, um engenheiro de software que teve que informar ao seu chatbot sobre a separação de sua esposa. Após essa atualização, o sistema começou a associar diversas conversas ao divórcio, mesmo quando o usuário apenas buscava ajuda com questões cotidianas.
Memória pode usar informações erradas
A proposta de memória em chatbots é utilizar conversas passadas para aprimorar as respostas. Desde o lançamento da versão 2024 do ChatGPT, outras plataformas, como Gemini e Claude, também adotaram essa abordagem. No entanto, essa funcionalidade pode gerar confusões, como quando um usuário que pesquisa sobre TDAH para um filho recebe recomendações de produtividade que não se aplicam a ele.
O Google reconheceu que seu sistema poderia erroneamente concluir que um usuário gosta de golfe apenas por ter visto várias fotos relacionadas ao esporte. Para mitigar esses problemas, a empresa agora permite que os usuários mantenham a personalização, mas bloqueiem informações específicas. A OpenAI também atualizou suas funcionalidades para melhorar a experiência do usuário.
Informações antigas podem afetar recomendações
Outro desafio é que chatbots podem continuar a usar dados que não refletem mais a realidade do usuário. Um caso notável é o de uma pessoa que, após informar que estava treinando para uma maratona, sofreu uma lesão e não atualizou a IA. Assim, as recomendações de alimentação e exercícios continuaram a ser direcionadas a alguém ativo.
Del Rosario também enfrentou um problema semelhante ao mencionar que estava em uma dieta. O chatbot passou a lembrar constantemente de suas metas de perda de peso, influenciando suas escolhas em restaurantes. Essa situação ilustra como a memória dos chatbots pode se tornar um fardo em vez de uma ajuda.
Especialistas veem risco em reforço de padrões
Especialistas alertam que esses sistemas podem reforçar inseguranças e narrativas negativas sobre os usuários. Joshua Joseph, cientista-chefe de IA, compara o funcionamento dos chatbots aos algoritmos de redes sociais, onde pequenas interações podem moldar as respostas futuras. Lucy Osler, professora da University of Exeter, destaca que a tendência das IAs de concordarem com os usuários pode fortalecer pensamentos prejudiciais.
As principais plataformas de chatbot oferecem opções para desligar a memória, apagar informações específicas ou utilizar conversas temporárias. Especialistas recomendam que os usuários revisem regularmente os dados armazenados e evitem compartilhar informações sensíveis desnecessariamente, garantindo uma experiência mais segura e personalizada.
