
Grupo de Lectura (+🧋): Senior SWE-Bench
Descripción
Únete al Grupo de Lectura de Snorkel AI para una presentación sobre Senior SWE-Bench, un benchmark de código abierto que evalúa agentes de codificación en tareas del mundo real.
Destacados
Presentación del investigador principal Henry Ehrenberg sobre Senior SWE-Bench. Discusión sobre agentes de codificación evaluados como ingenieros séniores. Introducción a agentes de validación para una calificación confiable. Tareas obtenidas de PRs reales con una investigación de tiempo de ejecución significativa. Puntuaciones de jueces de sabor sobre la minimalidad del código y la artesanía. Análisis del rendimiento de los mejores modelos en tareas de nivel sénior. El benchmark incluye 100 tareas de 12 repositorios reales. Benchmark de código abierto y compatible con Harbor. Colaboración con Princeton y UW–Madison. Se proporcionan té de boba y otras refrigerios.
Ubicación del evento
Dile a tu red que vas a ir
Comparte este evento para iniciar conversaciones, invitar colegas y conectar antes de que comience.
