תשואת ה-AI: למה הסוכן לא הפתרון

רוב הסוכנים של AI מופיעים באופן גרוע בייצור לא כי המודל שגוי, אלא כי הנתונים סביבו לא שלמים והתוצאות לא נמדדות. שתי הרצאות על שני המגבלות שמגבילות למעשה את תשואת ה-RI של הסוכן: מה שהסוכן שלך יכול לראות, ואם אתה יכול לדעת אם הוא עובד. agenda התשואה לא נמצאת בסוכן מספרי תשואת ה-RI של רבים מהסוכנים הם בדיוניים. הם יוצאים מתוך הגיליון עבודה שכל מנהיג הנדסה כבר יודע: שעות שנחסכות לכל מפתח, מוכפל במספר העובדים, מוכפל בגורם מלא בתקווה. הבעיה היא שזה מתייחס לסוכן כדבר שאתה קונה, ומתייחס לחיסכון כמשהו שאתה מקצה פעם אחת ומתקדם הלאה. הרצאה זו טוענת שהתשואה שמחזיקה מעמד נמצאת בשכבה אחת למעלה, בסביבה סביב הסוכן: ההקשר שבו הוא עובד, הערכות, ההבחנה שמחליטה אם הפלט שלו טוב. החיסכון מכלי מהיר יוצא להוציא לאור, ולא חוזר. כסף שמושקע בחגורה ממשיך להחזיר, כי כל חלק שאתה בונה עושה את הבא זול יותר והנתונים שאתה מפלטר בדרך נצברים. זה גם מסתכל על למה אף אחד מזה לא בר השגה עד שאתה יכול למדוד את זה, ולמה המעבר מהרגשות למטריקות הוא המקום שבו סיפור תשואת ה-RI הכנה חייב להתחיל. רוב וילוובי, חבר צוות טכני, מחקר AI ב-Tessl רוב עובד על מחקר הערכה ב-Tessl, מעצב ומנהל הערכות על פני מח schaal ל איך סוכני קוד מתנהגים בבסיסי הקוד של העולם האמיתי. עבודתו מתמקדת במציאת מה פירוש "טוב" כשסוכן AI עובד עם הקוד שלך מעיצוב והקשרים של הערכה ועד הבנת היכן המודלים (והתשתיות) מתמוטטים בקנה מידה. נקודות עיוורון בנתונים: הרוצח החבוי של תשואת ה-AI למה כל כך הרבה פרויקטי סוכני AI נכשלו לספק תשואה משמעותית? התשובות הרגילות מתרכזות במודלים, פרומפטים וכלים. אבל במציאות, המגבלה הגדולה ביותר היא לעיתים קרובות פשוטה הרבה יותר: סוכנים לא יכולים לראות מספיק מהעסק. רוב הארגונים נותנים לסוכנים גישה למספר מצומצם של מקורות נתונים ומצפים מהם לקבל החלטות באמצעות מבט מפורק ולא שלם על המציאות. כל חוסר אינטגרציה, עדכון מאוחר או מסד נתונים נגיש הופך לנקודת עיוורון. וכל נקודת עיוורון מפחיתה דיוק, ביטחון, שיעורי אוטומציה ולעUltimately תשואת ה-RI. בהרצאה הזו, אני אסקור למה ביצועי הסוכנים מוגבלים באופן יסודי על ידי נראות הנתונים. נבחן איך יכולים להיווצר נקודות עיוורון, למה שיטות אינטגרציה מסורתיות מתקשות לעמוד בביקוש הגובר לנתוני סוכן מוכנים, ואיך ארכיטקטורות מונעות אירועים מודרניות יכולות להפוך את הקשר העיסקי לנגיש מיד למערכות AI. נבחן גם את הקשר בין נראות ויעילות: למה יותר נתונים לא תמיד טובים, איך צמצום ההקשר משפר את ביצועי הסוכן, ולמה הפרויקטים הבולטים ביותר של סוכנים הם לעיתים קרובות אלה שמספקים את המבט הכי ברור על המציאות במקום את חלונות ההקשר הגדולים ביותר. סוכנים עם תשואת RI נמוכה לא טיפשים. הם עיוורים. טום סקוט, מנכ"ל, Streambased טום סקוט מנהל את Streambased, החברה המאחדת את Apache Kafka ואת Apache Iceberg לפרויקטי AI. לטום יש יותר מ-20 שנות ניסיון במערכות מבוזרות ותשתיות נתונים, עבד כלקוח וספק עבור חלק מהבעיות הכי מעניינות בזרימת אירועים וביג דאטה. האירוע הזה מוגש לכם כחלק מקהילת המפתחים AI Native. שקול להירשם לרשימת התפוצה, הפודקאסט, ולהצטרף לקהילת Discord שלנו.