Infraestrutura e Chips
Quantização: modelos menores com pouca perda de qualidade
Guardar os pesos com menos bits reduz memória e custo. Métodos como o GPTQ fazem isso depois do treino, com perda pequena de qualidade.
@raulelgreco1 min de leitura
Os pesos de um modelo costumam ser guardados em 16 bits. Quantizar é representá-los com menos bits, como 8, 4 ou até 3. Um modelo de 70 bilhões de parâmetros cai de cerca de 140 GB para algo em torno de 35 GB em 4 bits.
O GPTQ, de Frantar e colegas (2022), é um método de quantização pós-treino: não exige treinar de novo. Ele processa o modelo camada por camada e ajusta os pesos restantes para compensar o erro introduzido por cada arredondamento.
O que os autores mostraram
- Modelos com 175 bilhões de parâmetros quantizados em 3 ou 4 bits em poucas horas de GPU.
- Perda de qualidade pequena, medida em perplexidade.
- Possibilidade de rodar modelos enormes em uma única GPU para inferência.
Na prática
- 8 bits costuma ser quase indistinguível do original.
- 4 bits é o ponto mais usado para rodar modelos em casa.
- Abaixo disso, a perda começa a aparecer. Teste no seu caso de uso.
Foto: Domaintechnik / Unsplash.