Pesquisa
Perdido no meio: o centro de contextos longos é pior aproveitado
Modelos usam melhor a informação do começo e do fim do contexto. O que fica no meio de um texto longo tende a ser ignorado.
@raulelgreco1 min de leitura
Janelas de contexto cada vez maiores sugerem que basta colocar todos os documentos no pedido. O estudo "Lost in the Middle", de Liu e colegas (2023), mostrou que não é tão simples.
Os pesquisadores colocaram a informação necessária em posições diferentes de um contexto longo e mediram o acerto. O desempenho seguiu uma curva em U: alto quando o trecho relevante estava no início ou no fim, e bem mais baixo quando estava no meio.
O que fazer com isso
- Coloque a pergunta e as instruções principais no início ou no fim.
- Em RAG, ordene os trechos recuperados do mais para o menos relevante.
- Prefira enviar menos trechos, mas melhores, a lotar o contexto.
- Teste o seu caso: o efeito varia de modelo para modelo.
Modelos mais recentes melhoraram nesse aspecto, mas a lição continua útil: mais contexto não significa, automaticamente, respostas melhores.
Foto: Paul Hanaoka / Unsplash.