Educação e IA
MMLU: como avaliar se um modelo sabe a matéria
O MMLU reúne questões de múltipla escolha em 57 áreas, do ensino básico ao profissional. É um dos testes mais citados, e também um dos mais criticados.
@raulelgreco1 min de leitura
O MMLU (Measuring Massive Multitask Language Understanding), de Hendrycks e colegas (2020), testa conhecimento em 57 disciplinas, como matemática, história, direito, medicina e ciência da computação. As questões são de múltipla escolha, com quatro alternativas.
Na época, a maioria dos modelos ficava perto do acaso, 25%. O GPT-3 maior chegou perto de 44%. Hoje, os melhores modelos passam com folga de 80%.
Por que ficou popular
- Cobre muitas áreas com um único número.
- É fácil de rodar e de comparar.
- Separa bem modelos com níveis diferentes de conhecimento.
Cuidados ao interpretar
- Contaminação: questões públicas podem ter aparecido nos dados de treino.
- Erros no próprio teste: análises posteriores encontraram questões com gabarito errado.
- Formato: múltipla escolha mede reconhecimento, não a capacidade de explicar ou aplicar.
Para professores e estudantes, a lição é a mesma das provas humanas: uma nota alta é um indício, não uma garantia de domínio do conteúdo.
Foto: Mohammad Rahmani / Unsplash.