Tutoriais
LLM como juiz: avaliando respostas com outro modelo
Usar um modelo forte para avaliar respostas de outro modelo é rápido e barato. Funciona razoavelmente bem, desde que você conheça os vieses do juiz.
@raulelgreco1 min de leitura
Avaliar respostas abertas com pessoas é caro e lento. Zheng e colegas (2023) estudaram uma alternativa: usar um modelo de linguagem forte como juiz, criando os testes MT-Bench e Chatbot Arena.
O que o estudo encontrou
O GPT-4, como juiz, concordou com avaliadores humanos em mais de 80% dos casos, nível parecido com a concordância entre duas pessoas. Mas o juiz mostrou vieses claros:
- Posição: tende a preferir a resposta apresentada primeiro.
- Tamanho: tende a preferir respostas mais longas.
- Autopreferência: pode favorecer respostas parecidas com as suas.
Como montar um juiz confiável
- Escreva critérios explícitos e uma escala com exemplos para cada nota.
- Em comparações, avalie as duas ordens e só aceite resultados consistentes.
- Peça que o juiz justifique antes de dar a nota.
- Calibre com uma amostra avaliada por pessoas.
- Não use o mesmo modelo como candidato e como juiz.
Bem montado, o juiz automático permite testar mudanças de prompt ou de modelo em minutos, em vez de dias.
Foto: Valentin Lacoste / Unsplash.