Open Source
LLaMA e a onda de modelos com pesos abertos
O LLaMA mostrou que modelos menores, treinados com mais dados públicos, podem competir com gigantes. A liberação dos pesos para pesquisa movimentou a comunidade.
@raulelgreco1 min de leitura
Em fevereiro de 2023, a Meta publicou o LLaMA, uma família de modelos de 7 a 65 bilhões de parâmetros treinados só com dados publicamente disponíveis. Segundo o artigo, a versão de 13 bilhões superava o GPT-3, de 175 bilhões, na maioria dos testes avaliados.
O segredo foi seguir a lógica do Chinchilla: treinar modelos relativamente pequenos com muitos tokens. O resultado são modelos mais baratos de rodar, o que importa muito para quem quer usá-los fora de grandes centros de dados.
Efeito na comunidade
Os pesos foram liberados para pesquisa, e logo surgiram ajustes finos, versões quantizadas que rodam em computadores pessoais e ferramentas para servir esses modelos.
Pesos abertos não é o mesmo que código aberto
Vale ler a licença de cada modelo. Muitas permitem uso comercial com condições, e algumas restringem certos usos. "Pesos disponíveis" e "licença aberta" são coisas diferentes.
Foto: Ilya Pavlov / Unsplash.