Educação e IA
BERT e a ideia de pré-treinar uma vez e ajustar para muitas tarefas
O BERT popularizou o roteiro de pré-treinar um modelo em texto genérico e depois ajustá-lo para tarefas específicas. A ideia ainda organiza a área.
@raulelgreco1 min de leitura
Antes de 2018, era comum treinar um modelo do zero para cada tarefa de linguagem. O BERT, de Devlin e colegas (Google), mudou esse hábito.
Duas etapas
- Pré-treino: o modelo lê grandes volumes de texto e aprende a adivinhar palavras escondidas, olhando para o contexto dos dois lados. Também aprende a dizer se uma frase vem logo depois da outra.
- Ajuste fino: com poucos exemplos rotulados, o mesmo modelo é adaptado para classificação, perguntas e respostas ou reconhecimento de entidades.
Na época, o BERT melhorou o estado da arte em 11 tarefas de compreensão de linguagem.
Encoder e decoder
O BERT é um modelo "encoder": ótimo para entender e classificar texto, mas não para gerar. Os grandes modelos conversacionais de hoje são, em geral, "decoders", treinados para prever o próximo token.
O que ficou
O roteiro de pré-treinar uma vez e adaptar para muitas tarefas continua sendo a base, agora com ajustes por instrução e alinhamento no lugar do ajuste fino por tarefa.
Foto: Egor Komarov / Unsplash.