AI נייטיב דב לונדון: החזר ROI על AI, למה הסוכן לא הפתרון

ROI של AI: מדוע הסוכן אינו התשובה הרוב המכריע של סוכני AI לא מספקים את הביצועים המצופים בייצור, לא כי המודל שגוי, אלא כי הנתונים הסובבים חסרים והתוצאות אינן ניתנות למדידה. שני הרצאות על שתי המגבלות שמוגבלות למעשה את התשואה של הסוכן: מה הסוכן יכול לראות ואם ניתן לקבוע אם הוא עובד. סדר יום התשואה אינה אצל הסוכן הרבה מספרים על התשואה של סוכנים הם פיקציה. הם נובעים מהטבלה שכל מומחה הנדסה כבר מכיר: שעות שנח saving לכל מפתח, מוכפל במספר העובדים, מוכפל בגורם אופטימי. הבעיה היא שזה רואה את הסוכן כמה שאתה קונה, ואת החיסכון כמשהו שאתה מתעד כאשר אתה עובר הלאה. הרצאה זו טוענת שהתשואה שנשארת בפועל היא בדרגה גבוהה יותר, בסביבת הסוכן: ההקשר שבו הוא עובד, ההערכות, האימות שמחליט אם התוצאה שלו טובה. חיסכון באמצעות כלי מהיר מתבזבז וחוזר על עצמו. כסף שמושקע בתשתית חוזר על עצמו שוב ושוב, כי כל פיסה שאתה בונה הופכת את הבאה לכדאית יותר והנתונים שאתה מייצר בדרך נערמים. גם יילקח בחשבון מדוע כל זה אינו נחשב בנקאי עד שתוכל למדוד אותו, ומדוע המעבר בין תחושות למדדי שם מתחיל במקום שבו צריכה להתחיל סיפור ROI אמיתי. רוב ווילובי, חבר הצוות הטכני, מחקר AI ב-Tessl רוב עובד על מחקר הערכה ב-Tessl, מעצב ומבצע הערכות רחבות היקף, כיצד סוכני קוד פועלים בקוד אמיתי. עבודתו מתמקדת בגילוי כיצד נראה "טוב" כאשר סוכן AI עובד עם הקוד שלך, מעיצוב הערכות ועד מערכות דירוג, ועד להבנת היכן מודלים (ותשתיות) נכשלות בקנה מידה רחב. עיוורון נתונים: הרוצח הסודי של תשואת AI מדוע נכשלות כל כך הרבה פרויקטים עם סוכני AI לספק תשואה משמעותית? התשובות הרגילות מתמקדות במודלים, בפרומפטים ובכלים. בפועל, המגבלה הגדולה ביותר היא לעיתים קרובות הרבה יותר פשוטה: הסוכנים אינם יכולים לראות מספיק מהעסק. רוב הארגונים מעניקים לסוכנים גישה למספר מצומצם של מקורות נתונים ומצפים מהם לקבל החלטות על בסיס מציאות מפולגת וחסרה. כל אינטגרציה חסרה, כל עדכון מאוחר או כל רשומת נתונים בלתי נגישה הופכת לעיוורון. וכל עיוורון מקטין דיוק, אמון, שיעורי אוטומציה ולבסוף את התשואה. בהרצאה זו, אני אחקור מדוע הביצועים של הסוכנים מוגבלים באופן יסודי על ידי זמינות הנתונים. נבחן איך נוצרי עיוורון, מדוע גישות אינטגרציה מסורתיות מתקשות לעמוד בדרישה ההולכת וגדלה לנתונים מוכנים לסוכנים, ואיך ארכיטקטורות מודרניות המונעות מאירועים יכולות לגרום להקשר העסקי להיות זמין מיד עבור מערכות AI. נבחן גם את הקשר בין נראות ליעילות: מדוע יותר נתונים לא תמיד טובים יותר, איך צמצום ההקשר משפר את ביצועי הסוכנים ולמה היישומים המוצלחים ביותר של סוכנים הם לעיתים קרובות אלו המציעים את התצפית הברורה ביותר על המציאות, ולא את חלונות ההקשר הגדולים ביותר. סוכנים בעלי תשואה נמוכה אינם טיפשים. הם עיוורים. טום סקוט, מנכ"ל, Streambased טום סקוט מנהל את Streambased, החברה שמחברת את Apache Kafka ו-Apache Iceberg לפרויקטי AI. לטום יש מעל 20 שנות ניסיון במערכות מפוזרות ותשתיות נתונים, כשעבד כקונה ו כספק עבור חלק מהבעיות המלהיבות ביותר בתחום הזרמת אירועים ו-Big Data. אירוע זה מוגש לכם כחלק מקהילת AI Native Dev. שקול להירשם לרשימת התפוצה, לפודקאסט ולהצטרף לקהילת Discord שלנו.