Educação e IA
A origem do treino com preferências humanas
Antes dos chatbots, pesquisadores já ensinavam agentes a partir de comparações humanas entre dois comportamentos. A técnica chegou depois aos modelos de linguagem.
@raulelgreco1 min de leitura
Em muitos problemas, é difícil escrever uma função de recompensa que capture o que queremos. Em 2017, Christiano e colegas (OpenAI e DeepMind) propuseram aprender essa recompensa a partir de comparações humanas.
O método
- O agente executa trechos curtos de comportamento.
- Uma pessoa vê dois trechos e escolhe o melhor.
- Um modelo aprende a prever essas escolhas e passa a servir de recompensa.
- O agente é treinado com aprendizado por reforço para maximizar essa recompensa aprendida.
Com menos de uma hora de avaliação humana, agentes aprenderam comportamentos complexos em jogos de Atari e simulações de robótica, incluindo um salto mortal que seria difícil de descrever com uma fórmula.
Ligação com os modelos atuais
Essa mesma ideia, de comparar pares e treinar um modelo de recompensa, é o coração do RLHF usado no alinhamento de modelos de linguagem. Conhecer a origem ajuda a entender tanto a força do método quanto suas fraquezas, como a dependência da qualidade das comparações.
Foto: itsiken / Unsplash.