האם סוכנים יכולים לשפר את עצמם באמת?

ערב מעשי לבניית סוכן שמשפר את עצמו בצורה מוכחת: סימולציה של מקרים קיצוניים, ניקוד מול הערכות, ושער לכל גרסה כך שהגרסה הבאה תושק רק אם היא עוקפת את הקודמת. תעזוב עם הלולאה, בנויה על כלים בקוד פתוח, פועלת על מחשב נייד. פרטי האירוע "סוכנים המשלימים את עצמם" עושים עבודה רבה בפריסות כרגע. חלק מזה אמיתי, חלק גדול מזה לא, והערב שלו מפריד בין השניים על ידי בניית הגרסה האמיתית מולך. נבנה יחד את הגרסה האמיתית בשידור חי כדי להראות את ההבדל. לפני שמשהו מגיע לייצור, אנו מדמים משתמשים סינתטיים ותסריטים עוינים כדי להבליט היכן הסוכן נשבר, מנקדים את הריצות מול הערכות, ומזינים את הכישלונות חזרה. ההערכה הופכת לשער: שום דבר לא משוגר אלא אם המספרים זורמים בכיוון הנכון. ואז אנחנו משאירים את זה פועל, מכוונים את תנועת הייצור חזרה דרך אותן הערכות כך שהירידות יתגלו כמו ניקוד נמוך במקום כרטיסי תמיכה. שיפור עצמי ריקורסיבי מלא עדיין בעיה פתוחה של מחקר ואנחנו לא נ pretending אחרת, אבל הגרסה המוגבלת ניתנת לבנייה היום, על OpenTelemetry ומסגרות קוד פתוח שאתה יכול להעתיק ולארח בעצמך. מדריך הסדנה ניקיל, מייסד ומנכ"ל Future AGI, מנהל את הבנייה בשידור חי, החל בסוף. הוא מבלה את ימיו בבעיה המדויקת שהערב עוסק בה: לגרום לסוכנים להיות מהימנים מספיק כדי לסמוך עליהם בייצור, ומדודים מספיק כדי לדעת שהם באמת משתפרים. הביאו מחשב נייד כדי: לאמוד סוכן בסיסי עם OpenTelemetry ולתפוס את ניקוד ההערכה ההתחלתי שלו לדמות משתמשים סינתטיים ותסריטים עוינים כדי לשבור אותו במכוון לנקד את הריצות מול הערכות כך שכישלונות יהפכו למספרים, לא לאנקדוטות לקרוא את התעודות כדי למצוא את הסיבה האמיתית, לא לנחש מהפלט להזין את התיקונים חזרה, ואז שוב לדמות כדי לאשר שהניקוד השתנה לשדר את הספינה: לקדם גרסה חדשה רק אם היא עוקפת את האחרונה לנתב את תנועת הייצור חזרה דרך אותן הערכות כדי לשמור על השיפור בסדר יום 5:30 - חטיפים וברכות 6:00 - דובר אורח (יוכרז) 7:00 - בניית שידור חי: לולאת השיפור העצמי שבאמת משולחת (הביאו מחשב נייד) 7:30 - דיון פתוח ושאלות ותשובות: הייפ מול מה שעובד 8:00 - רישות 8:30 - נתראה באיטרציה הבאה למהנדסים ובוני מוצרי AI שמריצים סוכנים בייצור שרוצים את הגרסה שמשתפרת בצורה מוכחת, בנויה על כלים פתוחים שהם יכולים לשמור.