Open Source
Mixtral: mistura de especialistas com pesos abertos
O Mixtral 8x7B usa oito especialistas por camada e ativa dois por token. O resultado é um modelo aberto com custo de uso bem menor que o tamanho total sugere.
@raulelgreco1 min de leitura
A Mistral AI publicou o Mixtral 8x7B com pesos abertos sob a licença Apache 2.0. Cada camada tem oito blocos especialistas, e um roteador escolhe dois deles para cada token.
Números que importam
Segundo o artigo técnico, o modelo tem 47 bilhões de parâmetros no total, mas usa cerca de 13 bilhões por token. Isso deixa a inferência com custo próximo ao de um modelo de 13 bilhões, enquanto a capacidade total é bem maior. Nos testes relatados, ele igualou ou superou modelos densos maiores em várias tarefas, incluindo matemática e código.
O que considerar ao usar
- A memória necessária corresponde ao total de parâmetros, não aos ativos.
- O ganho aparece na velocidade e no custo por token.
- A licença Apache 2.0 permite uso comercial com poucas restrições.
O Mixtral ajudou a levar a mistura de especialistas, antes restrita a grandes laboratórios, para a comunidade aberta.
Foto: Jakub Żerdzicki / Unsplash.