Modelos e LLMs
Vision Transformer: imagens como sequência de pedaços
O Vision Transformer corta a imagem em quadradinhos e trata cada um como um token. Com dados suficientes, a ideia rivaliza com as redes convolucionais.
@raulelgreco1 min de leitura
Por anos, redes convolucionais dominaram a visão computacional. Em 2020, Dosovitskiy e colegas, do Google, testaram algo direto: aplicar o Transformer de texto a imagens quase sem mudanças.
O truque do Vision Transformer (ViT) é dividir a imagem em pedaços de 16 por 16 pixels, achatar cada pedaço num vetor e tratar essa sequência como se fossem palavras. Uma posição aprendida indica onde cada pedaço estava.
O que o estudo mostrou
- Com poucos dados, o ViT perde para as convolucionais, que já trazem embutida a noção de vizinhança entre pixels.
- Com pré-treino em grandes bases de imagens, ele alcança ou supera o estado da arte da época.
- A mesma arquitetura passou a servir para texto e imagem, o que facilitou modelos multimodais.
O ViT é um exemplo de como a escala de dados pode compensar a falta de conhecimento prévio embutido na arquitetura.
Foto: Julia Taubitz / Unsplash.