Modelos e LLMs
Chinchilla e a proporção entre parâmetros e dados
O estudo Chinchilla mostrou que muitos modelos grandes foram treinados com dados de menos. Para o mesmo orçamento, vale mais equilibrar tamanho e texto.
@raulelgreco1 min de leitura
Em 2022, Hoffmann e colegas, da DeepMind, treinaram centenas de modelos para responder a uma pergunta prática: com um orçamento fixo de computação, quantos parâmetros usar e com quantos tokens treinar?
A conclusão foi que parâmetros e dados devem crescer na mesma proporção. Muitos modelos da época eram grandes demais para a quantidade de texto usada. Para provar o ponto, a equipe treinou o Chinchilla, com 70 bilhões de parâmetros e muito mais dados, e ele superou modelos bem maiores treinados com o mesmo custo.
Consequências
- Modelos menores e bem treinados são mais baratos de usar no dia a dia.
- A demanda por dados de qualidade aumentou.
- Hoje é comum treinar além do ponto "ótimo" do Chinchilla, aceitando mais custo de treino para ter um modelo menor e mais barato na inferência.
O estudo é um bom exemplo de como uma medição cuidadosa muda prioridades de toda a área.
Foto: Zach M / Unsplash.