Ética e Segurança
IA constitucional: regras escritas que guiam o treino
Na IA constitucional, um conjunto de princípios escritos orienta o modelo a criticar e revisar as próprias respostas. Menos rótulos humanos, mais transparência.
@raulelgreco1 min de leitura
Treinar um modelo para ser útil e inofensivo costuma exigir muitas avaliações humanas. A IA constitucional, proposta pela Anthropic em 2022, substitui parte desse trabalho por uma lista de princípios em linguagem natural, a "constituição".
Duas fases
- Supervisionada: o modelo gera uma resposta, critica essa resposta com base em um princípio e escreve uma versão revisada. As revisões viram dados de ajuste fino.
- Reforço com feedback de IA: o próprio modelo compara pares de respostas segundo os princípios, e essas preferências treinam o modelo final.
Vantagens apontadas
- Reduz a necessidade de rótulos humanos para conteúdo nocivo.
- Os princípios ficam escritos e podem ser lidos, discutidos e alterados.
- O modelo aprende a recusar pedidos perigosos explicando o motivo, em vez de só se esquivar.
Questões em aberto
Quem escreve a constituição define os valores do modelo. Por isso, transparência sobre os princípios e participação de mais pessoas na sua definição são temas importantes.
Foto: Emilipothèse / Unsplash.