ModelOps ליל: הערכות, ניתוב ומדדים

צלילה טכנית להערכת מוצרים, סוכנים וזרימות עבודה של AI מול משימות מהעולם האמיתי.כשהמודלים משתפרים, השאלה הקשה כבר אינה "איזה מודל הוא הטוב ביותר?" אלא האם המוצר, הסוכן או זרימת העבודה שלך מבצעים בפועל טוב על המשימות שהמשתמשים שלך אכפת להם.מדדים ציבוריים לעיתים נדירות תופסים את המצבים הקצה שלך. מערכות ייצור אמיתיות יש להן קלטים מבולגנים, זרימות עבודה רב-שלביות, קריאות כלים, הגבלות על תזמון, סחר חליפין בהוצאות ומודלי כישלון שמופיעים רק בפרקטיקה.אירוע זה מביא יחד צוותים הבונים את התשתית להערכת מערכות AI בעולם האמיתי.נשמע מ-Composio על בניית הערכות לזרימות עבודה אמיתיות, מ-GMI Cloud על ניתוב מודלים כדי למקסם ביצועים והוצאות, מ-Handshake על יצירת מדדים איכותיים המגדירים את הגבול, ומ-Oqoqo על איך להעריך ולשפר את חוויית הסוכן על ידי בניית מדד משלך.אם אתה בונה כלים עבור סוכנים, סוכנים מותאמים אישית, או זרימות עבודה פנימיות, זהו חדר לדיונים מעשיים על איך למדוד מה באמת עובד.תוכנית17:30 דלתות נפתחות · אוכל ומשקאות18:00 Composio: בניית הערכות לזרימות עבודה אמיתיות (ג'ייש שארמה, מהנדס AI ב-Composio)18:15 GMI Cloud: ניתוב מודלים כדי למקסם ביצועים והוצאות18:30 Handshake: בניית מדדים לעבודה כלכלית-חשובה של סוכנים (יואנס מולר, מנהל מחקר AI, Handshake AI)18:45 Oqoqo: הערכה ושיפור של חוויית הסוכן על ידי בניית מדד משלך (האריטה נאיר, CTO, Oqoqo)19:00 הזדמנויות לרשתמי צריך להגיעמייסדים, מהנדסי מוצרים, מהנדסי AI וצוותים הבונים סוכנים/מוצרים המיועדים לסוכנים, זרימות עבודה פנימיות, או מערכות שיש לבדוק מול משימות משתמש אמיתיות.