Modelos e LLMs
Mistura de especialistas: mais parâmetros sem pagar por todos
Em modelos de mistura de especialistas, cada token passa só por uma parte da rede. Assim o modelo cresce sem que cada resposta custe proporcionalmente mais.
@raulelgreco1 min de leitura
Num modelo denso, todos os parâmetros trabalham em cada token. Na mistura de especialistas (MoE), a camada é dividida em vários "especialistas", e um roteador escolhe quais deles processam cada token.
O Switch Transformer, de Fedus, Zoph e Shazeer, simplificou a ideia ao mandar cada token para um único especialista. Com isso, o grupo treinou modelos com mais de um trilhão de parâmetros mantendo o custo por token parecido com o de um modelo muito menor.
Vantagens e cuidados
- Vantagem: mais capacidade total pelo mesmo custo de computação por token.
- Cuidado: todos os especialistas precisam estar na memória, então o uso de RAM ou VRAM continua alto.
- Cuidado: o roteador precisa distribuir a carga; sem isso, alguns especialistas ficam sobrecarregados.
Modelos abertos como o Mixtral mostraram que a técnica funciona bem também fora dos grandes laboratórios.
Foto: Resource Database / Unsplash.