O que é um modelo de linguagem, sem jargão

Um modelo de linguagem é um programa treinado para uma tarefa só: dado um trecho de texto, estimar qual pedaço vem a seguir. Repetindo essa previsão muitas vezes, ele escreve frases, responde perguntas e resume documentos.

O salto recente veio da escala. Quando o mesmo tipo de modelo é treinado com muito mais texto e muito mais parâmetros, surgem habilidades que ninguém programou diretamente, como seguir instruções a partir de poucos exemplos dentro do próprio pedido. O artigo do GPT-3 mostrou isso de forma sistemática: com alguns exemplos no prompt, o modelo resolvia tarefas novas sem nenhum ajuste de pesos.

O que isso significa na prática

• O modelo não consulta uma base de fatos; ele reproduz padrões aprendidos no treino.
• Por isso escreve com fluência mesmo quando não sabe a resposta.
• A qualidade depende muito do contexto que você fornece no pedido.

Entender essa mecânica ajuda a usar a ferramenta com mais critério: peça fontes, forneça os documentos relevantes e confira afirmações importantes.

Foto: Igor Omilaev / Unsplash.