Inteligência Artificial
Tokens: a unidade que define custo e limite de contexto
Modelos não leem palavras, leem tokens. Saber o que é um token explica por que o preço e o tamanho máximo do texto variam entre idiomas.
@raulelgreco1 min de leitura
Antes de chegar ao modelo, o texto é quebrado em tokens: pedaços que podem ser uma palavra inteira, parte de uma palavra ou um sinal de pontuação. A técnica mais difundida para criar esse vocabulário é a codificação por pares de bytes (BPE), adaptada para tradução automática por Sennrich, Haddow e Birch em 2016.
A ideia do BPE é começar com caracteres e fundir, passo a passo, os pares que aparecem juntos com mais frequência. O resultado é um vocabulário que representa palavras comuns com um token só e palavras raras com vários.
Por que isso importa
- Custo: a maioria dos serviços cobra por token de entrada e de saída.
- Limite de contexto: a janela máxima do modelo é medida em tokens, não em páginas.
- Idioma: textos em português costumam gerar mais tokens que o mesmo conteúdo em inglês, porque o vocabulário foi montado com mais texto em inglês.
Ao estimar custos, conte tokens com o tokenizador do próprio modelo; a regra de "uma palavra, um token" quase nunca vale.
Foto: jonakoh _ / Unsplash.