Grupo de Leitura (+🧋): Senior SWE-Bench

Descrição

Destaques

Apresentação do pesquisador principal Henry Ehrenberg sobre o Senior SWE-Bench. Discussão sobre agentes de codificação avaliados como engenheiros seniores. Introdução aos agentes de validação para avaliação confiável. Tarefas retiradas de PRs reais com investigação de runtime significativa. Avaliação dos juízes de sabor sobre a minimalidade do código e a maestria. Análise de desempenho dos melhores modelos em tarefas de nível sênior. O benchmark inclui 100 tarefas de 12 repositórios reais. Benchmark de código aberto e compatível com Harbor. Colaboração com Princeton e UW–Madison. Bebidas de chá boba e outros refrescos serão fornecidos.