Ética e Segurança
RLHF: como a preferência humana entra no modelo
O aprendizado por reforço com feedback humano ensina o modelo a seguir instruções. No InstructGPT, um modelo menor alinhado foi preferido a um maior sem alinhamento.
@raulelgreco1 min de leitura
Um modelo pré-treinado completa texto, mas não necessariamente segue instruções ou evita respostas nocivas. O artigo do InstructGPT, de Ouyang e colegas (OpenAI, 2022), descreveu um processo em três etapas para mudar isso.
As etapas
- Demonstrações: pessoas escrevem respostas ideais para vários pedidos, e o modelo é ajustado com esses exemplos.
- Comparações: avaliadores ordenam várias respostas do modelo, e essas preferências treinam um modelo de recompensa.
- Reforço: o modelo de linguagem é otimizado para obter recompensa alta, com uma penalidade para não se afastar demais do original.
Resultado
Nas avaliações humanas do estudo, respostas do InstructGPT com 1,3 bilhão de parâmetros foram preferidas às do GPT-3 com 175 bilhões. O modelo também foi mais verdadeiro e gerou menos conteúdo tóxico.
Limites
O modelo aprende as preferências de um grupo específico de avaliadores, e a recompensa pode ser explorada de formas inesperadas. Métodos como DPO e IA constitucional surgiram para simplificar ou complementar esse processo.
Foto: Nick Fewings / Unsplash.