Inteligência Artificial
Token
A menor unidade de texto processada por um modelo de IA — pode ser uma palavra, parte de palavra ou símbolo.
Um token é o “pedaço” de texto que um modelo de linguagem processa por vez. Nem sempre corresponde a uma palavra inteira: “inteligência” pode virar dois ou três tokens, enquanto “casa” costuma ser apenas um.
Modelos cobram e limitam uso por token. Por isso, a “janela de contexto” de um modelo — quanto ele consegue “lembrar” em uma conversa — é medida em tokens (por exemplo, 128 mil tokens).
Regra prática
Em português, 1.000 tokens equivalem a cerca de 750 palavras.