Infraestrutura e Chips
Decodificação especulativa: um modelo pequeno adianta o grande
Um modelo pequeno sugere vários tokens e o grande confere todos de uma vez. A resposta sai mais rápido e continua idêntica à do modelo grande.
@raulelgreco1 min de leitura
Gerar texto é um processo sequencial: cada token depende do anterior. Isso deixa a GPU ociosa boa parte do tempo, esperando a próxima etapa.
A decodificação especulativa, proposta por Leviathan, Kalman e Matias (Google, 2022), usa um modelo pequeno e rápido como rascunhista. Ele sugere alguns tokens à frente, e o modelo grande verifica todos numa única passada.
Por que a resposta não muda
O procedimento de aceitação foi desenhado para que a distribuição dos tokens finais seja exatamente a do modelo grande. Quando o rascunho acerta, vários tokens são aceitos de uma vez. Quando erra, o modelo grande corrige a partir daquele ponto.
Ganhos e condições
- Os autores relataram acelerações de 2 a 3 vezes em tradução e resumo.
- O ganho depende de quanto o modelo pequeno concorda com o grande.
- Funciona melhor em textos previsíveis, como código e respostas estruturadas.
Variações da técnica estão presentes em vários servidores de inferência atuais.
Foto: İsmail Enes Ayhan / Unsplash.