Grupa czytelnicza (+🧋): Senior SWE-Bench
Opis
Dołącz do grupy czytelniczej Snorkel AI na prezentacji dotyczącej Senior SWE-Bench, otwartego benchmarku oceniającego agenty kodujące w rzeczywistych zadaniach.
Najważniejsze punkty
Prezentacja prowadzonego badacza Henry'ego Ehrenberga na temat Senior SWE-Bench. Dyskusja na temat agentów kodujących ocenianych jako inżynierowie seniorzy. Wprowadzenie do agentów walidacyjnych dla wiarygodnego oceniania. Zadania pochowane z rzeczywistych PR-ów z istotnym czasem wykonania. Oceny sędziów smakowych dotyczące minimalizmu kodu i rzemiosła. Analiza wydajności najlepszych modeli w zadaniach na poziomie seniora. Benchmark obejmuje 100 zadań z 12 rzeczywistych repozytoriów. Otwarty i kompatybilny z Harbor benchmark. Współpraca z Princeton i UW–Madison. Podawane są napoje boba i inne przekąski.
Lokalizacja wydarzenia
Daj swojej sieci znać, że idziesz
Udostępnij to wydarzenie, aby rozpocząć rozmowy, zaprosić kolegów i nawiązać kontakty przed jego rozpoczęciem.
Powiązane wydarzenia
Stop Building AI Agents – Start Building AI SKILLS. A Complete TutorialWed, Jul 1 · 5:30 PM EDTby Tampa Bay Biotechicon 5.
UX-Ai Collab: meetup
Community Round Table: AI, Agents, Skills and MCP | DenverScript June 2026
AI Meetup (July): GenAI LLMs and Agents
Streaming/ Tribe #26 - Le startup possono diventare autonome grazie all’AI?
Building an AI-Enabled BusinessTue, Jun 23 · 5:30 PM EDTby Entrepreneurs Learning & Growth Hubicon 4.
Summer AI Study Group Series Kick Off
Ai Engineering primer
7 seats leftAI Happy HourTue, Jun 23 · 7:00 PM EDTby AI Club3 attendees
The AI Underground - Conference
AI think tank. Learn to make money with AI