מעבר לדגם: סוכנים, אימות ותכניות שליטה

שיחה 1: Dogwood: שפה חדשה לבטיחות סוכנים השקנו לאחרונה את Dogwood, שפה חדשה שנועדה לתאר מה הסוכנים יכולים לעשות, ומתי הם יכולים לעשות זאת. Dogwood היא קוד פתוח, ואתה יכול להשתמש בה היום. בשיחה זו אני אסביר מה זה Dogwood ולמה בנינו אותה, אכסה כמה מהיסודות התיאורטיים (לוגיקה זמנית בדרגה ראשונה), ואסביר כיצד ה-backend היקפי של Dogwood מתרגם את Dogwood ל-SQL ומשתמש ב-Aurora DSQL כדי לבנות מדיניות מהירה, היקפית ומצבים. שיחה 2: Evals הוא השחור החדש (בורסה) הערכת סוכני קוד קשה יותר ממה שזה נראה בהתחלה. בחירת מודל ומאמץ רציונלי היא רק ההתחלה. חבלים לקוד מציגים משתנים נוספים דרך הנחיות, כלים, מחברים, זיכרון, ומצב בין-מפגשי. שכפול של תוצאה הוא גם קשה. סוכנים עשויים לגלות פתרונות קודמים, לרשת מצב מהריצות הקודמות, להיתרם משימוש חוזר ב-KV-cache, או להיות תלויים בכלים שיציקותיהם משתנות עם הזמן. חבלים ומודלים מתפתחים באופן עצמאי, כך שטכניקות שמשפרות שילוב אחד עשויות להיות בעלות ערך מועט עבור אחר. שיחה זו בוחנת את ההערכה של סוכנים כבעיה מערכתית. נסתכל על האתגרים המעשיים של בידוד, שחזור, מדידה והשוואה, יחד עם לקחים מבניית מערכת הערכה עבור זרימות עבודה אמיתיות בקוד. תודה לאנטיתזה על כך שהפכתם את האירוע הזה לאפשרי. על הדוברים מרק ברוקר הוא סגן נשיא ומהנדס מובחן ב-AWS. במהלך 16 השנים שלו ב-AWS, מרק עבד על EC2, EBS, Lambda, ובשנים האחרונות הוביל את הצוות ששחרר את Aurora DSQL. הוא מתמקד כיום בתשתית עבור AI סוכני, וזמינות ואבטחת מערכותינו בקנה מידה גדול. לפני AWS, מרק סיים את הדוקטורט שלו באוניברסיטת קייפטאון. חואג'ה שאמס הוא המנכ״ל ומייסד שותף של Momento. קודם לכן, הוא ניהל את DynamoDB ב-AWS והיה מדען במעבדת הת propulsion של NASA. הוא קיבל את מדליית הקריירה המוקדמת של NASA על עבודתו על הרוברים של מאדים. מכור לתשתיות נתונים בזמן אמת ואקו מערכת Valkey, הוא אוהב ת характерист רבנית של מערכות ביצועים גבוהות ומודלים של AI. דניאלה מיאו היא CTO ומייסדת שותפה של Momento. לפני כן, היא ניהלה מדדים ב-Lightstep, שנרכשה על ידי ServiceNow. היא אוהבת תצפית ואיבזור ככלים לשיפור ביצועים. היא מכורה לרדוף אחרי 100 µs השהיות עבור חבילות גדולות ברחבי רשת EC2.