Modelos e LLMs
CLIP: quando imagem e texto dividem o mesmo espaço
O CLIP aprendeu a ligar imagens às suas legendas. Com isso, consegue classificar fotos em categorias que nunca viu, só a partir de descrições em texto.
@raulelgreco1 min de leitura
O CLIP, apresentado pela OpenAI em 2021, foi treinado com centenas de milhões de pares de imagem e legenda coletados da internet. O objetivo era simples: dado um lote de imagens e textos, acertar qual legenda pertence a qual imagem.
O resultado é um par de codificadores que levam imagens e textos para o mesmo espaço vetorial. Uma foto de cachorro fica perto da frase "uma foto de um cachorro".
O que isso permite
- Classificação sem treino específico: basta escrever os nomes das classes como frases e ver qual fica mais perto da imagem.
- Busca de imagens por texto e vice-versa.
- Guia para geração: sistemas de texto para imagem usaram representações desse tipo para entender o pedido.
Limitações também foram documentadas pelos autores, como dificuldade em contar objetos e vieses herdados dos dados da internet.
Foto: Conny Schneider / Unsplash.