Mercado e Aplicações
SWE-bench: medir agentes em problemas reais de código
O SWE-bench usa issues reais de projetos em Python no GitHub. O agente precisa alterar o código para que os testes do próprio projeto passem.
@raulelgreco1 min de leitura
Testes de programação tradicionais pedem funções curtas e isoladas. O SWE-bench, de Jimenez e colegas (Princeton, 2023), leva a avaliação para perto do trabalho real.
Como o teste é montado
- Cada tarefa vem de uma issue real de um projeto popular em Python.
- O modelo recebe o repositório e a descrição do problema.
- Precisa produzir uma alteração no código.
- A solução é aceita se os testes escritos pelos mantenedores para aquela correção passarem.
No lançamento, os melhores modelos resolviam só uma pequena fração das tarefas. O teste virou referência para medir o progresso de agentes de programação, que precisam navegar pelo código, entender o contexto e editar vários arquivos.
Cuidados
- Os resultados dependem muito do "andaime" em volta do modelo: ferramentas, número de tentativas e acesso aos testes.
- Variações do teste, como subconjuntos verificados manualmente, foram criadas para reduzir tarefas ambíguas.
- Passar nos testes não garante código bom de manter.
Foto: Tony Marinescu / Unsplash.