בניית מערכות AI שמתשפרות מעצמן

כשהמודלים הלשוניים הגדולים מיושמים בתחומים מורכבים, הגבול משתנה ממודלים שהוכשרו פעם אחת למערכות שמתשפרות מעצמן. עמית יתפרק את השיפור העצמי לשלושה צירים: ייצור סביבות, אימון RL, ואבולוציה של החגורה, כולל מאשררים וזיכרון. לשני הראשונים, הוא יציג תרחישי נגד ניתנים לביצוע, מסגרת שמפעילה חשיבה נגדית כקוד, מה שמאפשר ייצור נרחב של סביבות RL עם קושי שניתן לשליטה ותשובות שניתן לאמת. אימון RL בסביבות אלה מעודד את ההתנהגויות הליבתיות של חשיבה נגדית - חקירה, התערבות, ותחזית ו, בניגוד לאימון מדויק מפוקח, מתפשט מעבר לתחום למבנים קוד חדשים ובעיות מתמטיות בלשון. מהצד של החגורה, עמית יציג את interwhen, שמקמפל מדיניות בשפה טבעית למאשרים פורמליים שמאשרים כל צעד במחשבה של הסוכן בזמן אמת, ומעלה את מהימנות pass^4 של מודל במשקל 30B ב τ²-bench Telecom מ-32% ל-87%. צירים אלה מתאגדים למעגל שיפור עצמי אחד, ומציגים שאלה מרכזית במחקר על איך לבצע RL במשותף עם רכיבי החגורה ולהתפתח גם את המודל וגם את החגורה שלו. קריאה מקדימה: על הדוברים: עמית שארמה בונה מעבדה ל-AI המתמקדת בסייבר אבטחה ובמערכות AI שמתשפרות מעצמן. הוא בילה את העשור האחרון במחקר של מיקרוסופט, שם עבד על חשיבה AI והסקת סיבות. עבודתו הובילה לתרומות בסיסיות לחשיבה סיבתית, עם יישומים לשיפור ההכללה, ההסבריות, ויכולת החשיבה של מערכות AI. הוא פיתח את האלגוריתם DiCE להסבר נגדיי ושיטות הכחשה להערכת אומדנים סיבתיים, שאומצו באופן נרחב באקדמיה ובתעשייה. עמית הוא גם אחד המייסדים של PyWhy, אקוסיסטם קוד פתוח שמעורב עם אוניברסיטת קרנגי מלון, מיקרוסופט, אמזון ועוד כדי לקדם כלים שיקולים סיבתיים נרחבים. הצטרף אונליין: meet.google.com\/onq-amgt-pgz מחכים לראות אותך!