Tutoriais
Busca densa: o primeiro passo de um bom RAG
Num RAG, a resposta só é boa se a busca trouxer os trechos certos. A recuperação densa, com embeddings, superou a busca por palavras em perguntas abertas.
@raulelgreco1 min de leitura
Por muito tempo, a busca de documentos se baseou em palavras em comum, com métodos como o BM25. O Dense Passage Retrieval (DPR), de Karpukhin e colegas (Meta, 2020), mostrou que embeddings treinados para a tarefa podem fazer melhor.
Como funciona
- Um codificador transforma cada trecho dos documentos em um vetor.
- Outro codificador transforma a pergunta em um vetor.
- A busca escolhe os trechos com maior similaridade com a pergunta.
Nos testes de perguntas abertas do estudo, o DPR encontrou o trecho certo entre os 20 primeiros resultados com bem mais frequência que o BM25.
Passos para montar a sua busca
- Divida os documentos em trechos de tamanho parecido, com alguma sobreposição.
- Gere embeddings com um modelo adequado ao seu idioma.
- Guarde os vetores num índice que permita busca por similaridade.
- Meça: monte perguntas com o trecho correto conhecido e verifique se ele aparece nos primeiros resultados.
Combinar busca densa com busca por palavras costuma ser ainda melhor, especialmente para nomes próprios e códigos.
Foto: Growtika / Unsplash.