Tokens, contexto e alucinação

Um LLM não lê letras nem palavras: ele lê tokens, pedaços de texto. Em português, a média fica em torno de 1 token para cada 3 a 4 caracteres, e palavras incomuns quebram em vários tokens.

Isso importa por dois motivos práticos: cobrança é por token, e a janela de contexto — tudo o que o modelo enxerga de uma vez, incluindo a resposta em construção — é medida em tokens.

O mecanismo central é simples de enunciar: prever o próximo token dado tudo o que veio antes. Não há consulta a banco de dados nem verificação de fato. É daí que vem a alucinação: quando o modelo não sabe, ele continua gerando o texto mais plausível — e texto plausível soa idêntico a texto correto.

Alucinação não é bug de uma versão específica; é consequência direta de como o modelo funciona. Ela se mitiga com contexto e verificação, não se elimina com um prompt mágico.

O que reduz alucinação, em ordem de eficácia:

1. Fornecer a fonte no próprio prompt (é o que RAG faz). 2. Pedir explicitamente que responda "não sei" quando faltar base. 3. Pedir citação do trecho que sustenta a resposta. 4. Verificar programaticamente o que dá para verificar.

Dois parâmetros que aparecem em toda API:

• temperature — quanto maior, mais aleatória a escolha do próximo token. Perto de 0 para extração e classificação; mais alto para redação criativa.
• max_tokens — teto da resposta. Se ela cortar no meio, quase sempre é este limite.