
Группa чтения (+🧋): Старший SWE-Bench
Описание
Присоединяйтесь к группе чтения Snorkel AI для презентации о Senior SWE-Bench, открытом исходном бенчмарке, оценивающем кодировщиков по реальным задачам.
Основное
Презентация ведущего исследователя Генри Эрнберга о Senior SWE-Bench. Обсуждение кодировщиков, которые оцениваются как старшие инженеры. Введение в агенты валидации для надежной оценки. Задачи из реальных PR с значительным исследованием времени выполнения. Оценки судей по минимализму кода и мастерству. Анализ производительности лучших моделей по задачам на уровне старших инженеров. Бенчмарк включает 100 задач из 12 реальных репозиториев. Открытый и совместимый с Harbor бенчмарк. Сотрудничество с Принстоном и UW–Мэдисон. Предоставляются напитки, включая бобу.
Место проведения
Расскажите своей сети, что вы идёте
Поделитесь этим событием, чтобы начать разговоры, пригласить коллег и наладить контакты до его начала.
