Modelos e LLMs
Leis de escala: o que muda quando o modelo cresce
O desempenho de modelos de linguagem melhora de forma previsível com mais parâmetros, dados e computação. Essa regularidade guia decisões de treino.
@raulelgreco1 min de leitura
Em 2020, Kaplan e colegas mediram como a perda de modelos de linguagem cai à medida que crescem três fatores: número de parâmetros, volume de dados e computação de treino. O resultado foi uma série de leis de potência: curvas suaves e previsíveis ao longo de várias ordens de grandeza.
Por que isso importa
- Permite estimar o resultado de um treino caro a partir de experimentos menores.
- Ajuda a decidir como dividir um orçamento de computação entre tamanho do modelo e quantidade de dados.
- Mostra que detalhes de arquitetura pesam menos que a escala, dentro de uma faixa razoável.
As leis de escala não dizem tudo. Elas descrevem a perda no texto de treino, não a utilidade em tarefas específicas. E trabalhos posteriores, como o do Chinchilla, revisaram a proporção ideal entre parâmetros e dados.
Mesmo assim, a ideia central ficou: medir pequeno para prever grande virou prática comum nos laboratórios.
Foto: Igor Omilaev / Unsplash.