
Leesgroep (+🧋): Senior SWE-Bench
Beschrijving
Sluit je aan bij de Leesgroep van Snorkel AI voor een presentatie over Senior SWE-Bench, een open-source benchmark die coderende agenten beoordeelt op real-world taken.
Hoogtepunten
Presentatie door hoofdonderzoeker Henry Ehrenberg over Senior SWE-Bench. Discussie over coderende agenten die geëvalueerd zijn als senior ingenieurs. Inleiding tot validatieagenten voor betrouwbare beoordeling. Taken afkomstig uit echte PR's met significante runtime-onderzoek. Proefjury-scores op code minimaliteit en vakmanschap. Prestatieanalyse van topmodellen op senior-niveau taken. Benchmark omvat 100 taken uit 12 echte repositories. Open-source en Harbor-compatibele benchmark. Samenwerking met Princeton en UW–Madison. Boba-thee en andere verfrissingen worden aangeboden.
Locatie evenement
Laat je netwerk weten dat je komt
Deel dit evenement om gesprekken te starten, collega`s uit te nodigen en van tevoren contact te leggen.
