
AI
קבוצת קריאה (+🧋): Senior SWE-Bench
תיאור
הצטרפו לקבוצת הקריאה של Snorkel AI להצגת Senior SWE-Bench, מדד קוד פתוח להערכת סוכני קוד על משימות מעשיות.
נקודות עיקריות
הצגה על ידי החוקרת הראשית הנרי אהרנברג על Senior SWE-Bench. דיון על סוכני קוד שהוערכו כמengineers בכירים. הקדמה לסוכני אימות לציונים אמינים. משימות שנלקחו מ-PRs אמיתיים עם חקירה משמעותית של זמן ריצה. ציונים של שופטי טעימות על מינימליות הקוד ואומנות העבודה. ניתוח ביצועי המודלים המובילים על משימות ברמה בכירה. המדד כולל 100 משימות מ-12 מאגרי נתונים אמיתיים. מדד קוד פתוח ותואם ל-Harbor. שיתוף פעולה עם פרינסטון ו-UW–מדיסון. תה בובה ומרעננים אחרים מסופקים.
מיקום האירוע
תן לרשת שלך לדעת שאתה הולך
שתף אירוע זה כדי להתחיל שיחות, להזמין עמיתים ולהתחבר לפני תחילתו.
פלטפורמת בינה מלאכותית
מחירים באתר
