
Lesegruppe (+🧋): Senior SWE-Bench
Beschreibung
Nehmen Sie an der Lesegruppe von Snorkel AI teil, um eine Präsentation über Senior SWE-Bench zu hören, ein Open-Source-Benchmark, das Codierungsagenten bei realen Aufgaben bewertet.
Höhepunkte
Präsentation durch den leitenden Forscher Henry Ehrenberg über Senior SWE-Bench. Diskussion über Codierungsagenten, die als Senior Engineers bewertet werden. Einführung in Validierungsagenten für zuverlässige Bewertungen. Aufgaben stammen aus realen PRs mit beträchtlichen Laufzeitanalysen. Geschmacksgutachterbewertungen zur Code-Minimalität und Handwerkskunst. Leistungsanalyse der Top-Modelle bei Aufgaben auf Senior-Niveau. Das Benchmark umfasst 100 Aufgaben aus 12 echten Repositories. Open-Source- und Harbor-kompatibles Benchmark. Zusammenarbeit mit Princeton und UW–Madison. Boba-Tee und andere Erfrischungen werden bereitgestellt.
Veranstaltungsort
Lassen Sie Ihr Netzwerk wissen, dass Sie dabei sind
Teilen Sie diese Veranstaltung, um Gespräche zu beginnen, Kollegen einzuladen und sich vorab zu vernetzen.
