Pesquisa
DPO: alinhar modelos sem um modelo de recompensa
A otimização direta de preferências ajusta o modelo a partir de pares de respostas preferidas e rejeitadas, sem a etapa de aprendizado por reforço.
@raulelgreco1 min de leitura
O alinhamento clássico com preferência humana (RLHF) tem várias etapas: coletar comparações, treinar um modelo de recompensa e depois otimizar o modelo de linguagem com aprendizado por reforço. Funciona, mas é instável e trabalhoso.
Em 2023, Rafailov e colegas propuseram a otimização direta de preferências (DPO). Eles mostraram que é possível chegar ao mesmo objetivo com uma função de perda simples, aplicada diretamente aos pares de respostas: aumenta-se a probabilidade da resposta preferida e reduz-se a da rejeitada, com um termo que evita afastar demais o modelo do original.
Por que ficou popular
- Dispensa o modelo de recompensa separado.
- O treino é parecido com um ajuste fino comum, mais estável e barato.
- Nos experimentos dos autores, igualou ou superou o RLHF em tarefas como resumo e diálogo.
Muitos modelos com pesos abertos passaram a usar DPO ou variações dele na etapa de alinhamento.
Foto: Xu Haiwei / Unsplash.