Rafael NazarVocê e a inteligência artificial (IA) não interpretam textos da mesma maneira. Enquanto as pessoas leem palavras com base no vocabulário armazenado na memória, os sistemas de IA processam blocos identificados por etiquetas numéricas. Esses blocos são chamados de tokens.
Os tokens funcionam como a linguagem compreendida pelos grandes modelos de linguagem, conhecidos pela sigla LLM, como ChatGPT, Claude e Gemini. Para converter uma mensagem humana em uma forma que a máquina consiga processar, o texto passa pela tokenização. Quando a IA transforma o resultado de seu processamento novamente em uma resposta compreensível, ocorre a destokenização.
Esse processo também ajuda a explicar os preços e os limites das plataformas de inteligência artificial. O processamento dos tokens exige energia e capacidade computacional. Por isso, as empresas contabilizam os tokens usados tanto na pergunta quanto na resposta para estimar os custos do sistema, estabelecer os limites de memória dos modelos e cobrar pelo uso.
O que é um token
Para compreender um comando ou prompt, a IA divide o conteúdo enviado — que pode ser texto, áudio ou imagem — em blocos. “Um token é basicamente uma subpalavra”, explica Fabrício Carraro, Program Manager da Alura.
Segundo ele, palavras como “feliz”, “triste” e “divisível” podem ser consideradas tokens. O termo “subpalavra” é usado porque uma palavra maior pode ser formada pela combinação de partes menores.
Em “infeliz”, por exemplo, o trecho “in” pode corresponder ao token de número 357 no vocabulário de um modelo de linguagem, enquanto “feliz” pode ser o token 352. Juntos, os dois tokens formam a palavra “infeliz”.
No motor da IA, o LLM recebe uma sequência de blocos com etiquetas numéricas, correspondente ao prompt, e realiza cálculos para prever quais serão os blocos de saída que formarão a resposta.
O papel do harness
Ao conversar com o ChatGPT ou outra ferramenta de IA, o usuário não interage diretamente com o motor do modelo. Existe uma camada de software ao redor dele, chamada harness. A estrutura funciona como um conjunto de mecanismos que direciona o LLM para determinada tarefa.
O harness coordena o fluxo de tokenização e destokenização. De acordo com Carraro, ele pode dividir uma pergunta em possíveis questões, subperguntas e subproblemas antes de produzir a resposta.
“Em vez de responder direto, ele já vai gerando pequenas perguntas, subperguntas, dividindo em subproblemas, e vai respondendo, de forma ‘escondida’, cada um desses subprobleminhas que criou para ele mesmo”, afirma o especialista. “Depois que termina esse raciocínio, ele te dá a resposta. É isso que está gastando tokens.”
Janela de contexto e memória da IA
Outro conceito ligado aos tokens é a janela de contexto. Ela pode ser comparada ao tamanho de uma mesa de trabalho, representando a memória de curto prazo da IA. Os tokens seriam como folhas de papel com informações distribuídas sobre essa mesa.
Na prática, a janela de contexto define o número máximo de tokens que a IA consegue processar ao mesmo tempo, considerando a soma dos prompts de entrada e das respostas de saída. Enquanto a conversa permanece dentro desse limite, o sistema consegue utilizar tudo o que foi informado para elaborar a resposta. Quando o limite é ultrapassado, parte das informações pode ficar de fora.
Token não é a moeda da IA
Os tokens influenciam o preço de assinaturas de serviços de IA, como os planos Go do ChatGPT e Plus do Gemini, mas não são, por si só, a moeda dessas plataformas. Eles são considerados na definição do preço de assinaturas e de créditos, sendo que os créditos funcionam como moedas dentro dos sistemas.
O token é uma unidade de medida do processamento de dados e serve como métrica de consumo. Ao analisar o volume de tokens recebidos nos prompts e gerados nas respostas, as empresas estimam o esforço computacional e os custos operacionais. Depois, consideram outras variáveis para definir os valores de assinaturas e créditos.
No Claude Fable 5, por exemplo, a Anthropic cobra US$ 10, aproximadamente R$ 51 em conversão direta, por um milhão de tokens de entrada. Para um milhão de tokens de saída, o valor informado é de US$ 50, cerca de R$ 257.
“Um milhão de tokens parece muito, mas não é”, observa Carraro. Segundo ele, um problema de programação pode consumir essa quantidade em dois, três ou quatro prompts, dependendo do tamanho e da complexidade da tarefa.
“Para problemas pequenos é bastante, mas para a maioria das bases de código com que a gente trabalha não é tanta coisa assim”, acrescenta o especialista. “Esses US$ 50 acabam rápido.”
A explicação também considera informações de Google, Nvidia e OpenAI.
