Modelos e LLMs
A arquitetura Transformer em cinco ideias
Quase todo modelo de linguagem atual é um Transformer. Cinco ideias do artigo original explicam por que a arquitetura escalou tão bem.
@raulelgreco1 min de leitura
Em 2017, o artigo "Attention Is All You Need" apresentou o Transformer, arquitetura que substituiu redes recorrentes em tradução e depois tomou conta do campo.
As cinco ideias
- Atenção: cada token consulta todos os outros para decidir o que é relevante.
- Várias cabeças: a atenção roda em paralelo em subespaços diferentes, captando relações distintas.
- Posição explícita: como a atenção não tem noção de ordem, a posição de cada token é somada à sua representação.
- Camadas empilhadas: blocos de atenção e redes simples se repetem, com conexões residuais e normalização.
- Paralelismo: sem recorrência, o treino aproveita bem as GPUs.
O último ponto foi decisivo. Treinar mais rápido permitiu treinar modelos maiores com mais dados, e foi isso que abriu caminho para os grandes modelos de linguagem.
O custo da atenção cresce com o quadrado do tamanho do texto, o que motivou muitas otimizações posteriores, como o FlashAttention.
Foto: Steve A Johnson / Unsplash.