סוכני קוד הבניין

​רוב הסוכנים משתמשים בכלים על ידי הפקת קריאה אחת מבנית בכל פעם. המודל בוחר כלי, מחכה לתוצאה, בוחר את הבא, וכל תוצאה ביניים זורמת חזרה דרך ההקשר שלו. ככל שמספר הכלים והשלבים גדל, זה הופך ליקר, איטי ופגיע. ​מצב הקוד משנה את זה. במקום לקרוא לכלים אחד אחד, הסוכן כותב קוד שקורא להם כפונקציות, מריץ את הקוד הזה בחול משרד, ומחזיר רק את מה שחשוב חזרה למודל. למה זה עובד טוב בפועל: מודלים מאומנים על הרבה יותר קוד מאשר עקבות קריאות כלים, כך שהם יכולים להרכיב פעולות בצורה יותר מהימנה בשפה שהם כבר יודעים. לולאות, התפצלויות, סינון והמרות נתונים מתרחשות בחול המשרד במקום כנסיעות נפרדות. תוצאות ביניים גדולות נשארות מחוץ לחלון ההקשר, והגדרות כלים נטענות לפי דרישה במקום כולן מראש. התוצאה היא סוכן שעושה יותר בכל שלב ומבזבז פחות טוקנים כדי לעשות זאת. ​הדאגה הברורה היא לתת למודל לכתוב ולשלוח קוד. אנו נטפל בזה עם המנחה של Flyte: הקוד המיוצר יכול לעשות זרימת בקרת טהורה כמו לולאות, התפצלויות וחיבור קריאות כלים יחד, אבל אין לו גישה למערכת הקבצים, לרשת או ל-OS. הקריאות בפועל לכלי או MCP מתפזרות למשימות קונטיינר מבודדות. אתם מקבלים את הגמישות של מתן למודל לכתוב קוד מבלי למסור לו את המפתחות למכונה. ​בדרך הלא רשמית הזו, נבנה סוכן במצב קוד שכותב ומבצע קוד כדי לקרוא לכלים, ואז נפרוס אותו מאחורי ממשק משתמש פשוט. כל הצינור עובד על Flyte 2/Union, כך שהריצות עמידות והניתנות לשחזור, השלבים נשמרים במטמון, והקוד אותו דבר מתפקד ממחשב נייד ועד לקבוצת ריבוי צמתים ללא שכתוב. ​עד הסוף, יהיה לכם סוכן במצב קוד עובד ודגם שניתן להשתמש בו בקלות על כלים שלכם. ​מה נדון * ​למה קריאה ישירה לכלים מפסיקה לעבוד בקנה מידה, ומה מצב הקוד משנה * ​הרצת קוד שהמודל מייצר בצורה בטוחה במנחה המבודד של Flyte, עם עבודות כבדות שמת dispersות למשימות מבודדות * ​תיאום עם Flyte 2: שלבים במטמון, ריצות עמידות, וביצוע שמתרחב * ​פריסת הסוכן עם ממשק משתמש, עם מסלול לעבודה ​מה תקבלו * ​סוכן במצב קוד עובד שכותב ומבצע קוד לשימוש בכלים * ​דגם שניתן להתאים באופן חוזר לכלים ולשרתים שלכם * ​תחושה ברורה מתי מצב הקוד גובר על קריאה ישירה לכלים, ומתי לא ​למי זה מיוחד ​מהנדסי ML ותוכנה בונים סוכנים שרוצים אלטרנטיבה יותר יעילה ומסוגלת לשרשר קריאות כלים. בין אם אתם מפתחים דגם בעבודה, מעריכים תשתית לסוכנים, או בונים פרויקט תיק, תעזבו עם קוד שאתם יכולים להמשיך להרחיב. ​מנחה: סייג אליוט, מהנדס AI ב- Union.ai