מפיקסלים לפעולות

ההרצאה הזו חוקרת כיצד לעצב סוכנים שיכולים לתפוס, להפעיל סיבה ולפעול בסביבות דיגיטליות ופיזיות מגוונות.ראשית, ארווין מציג את פרא, הסוכן האחרון של Microsoft שמקבל סטנדרט גבוה בגודלו. פרא מאמץ נוסחת "פיקסל נכנס, פעולה יוצאת": הוא תופס את מסך המחשב ישירות דרך צילומי מסך גולמיים, מניח צעדים ביניים של סיבה, וחוזה פעולות אטומיות ברמת נמוכה (לחיצות, גלילות, לחיצות מקשים). תוצאה זו היא התנהגויות עמידות ודומות לאנושיות שמתאימות למגוון הרחב של משימות אינטרנט. לאחר מכן, נעבור מניווט בדפי אינטרנט לניווט בעולם הפיזי.ארווין יפרסם לאחר מכן את OpenEQA, קריטריון שדורש מסוכנים פיזיים לחקור חללים פיזיים כמו בתים ומשרדים.נראה כי מודלים בקצה הגבול פועלים מתחת לאנשים כאן, במיוחד בהבנה מרחבית. זה מניע את Locate3D, מודל בשיטת למידה עצמית שממקם את השפה ישירות בזרמי חיישנים גולמיים כדי ל-localize אובייקטים ב-3D, בונה את סוג הייצוגים הלא מתמשכים של העולם שתומכים בזיכרון ובניווט.על המרצה:ארווין רג'סווארן הוא חוקר ב-Microsoft AI Frontiers, העובד על למידת חיזוק ודגמי עולם כדי לבנות סוכני AI כלליים.לפני Microsoft, ארווין בילה 4 שנים ב-Meta (FAIR) ועבד על AI ממומש (פיזי). כמה מהפרויקטים הבולטים שלו כוללים את פרא, OpenEQA, R3M, Decision Transformer, ו-DAPG.הוא קיבל את הדוקטורט שלו מאוניברסיטת וושינגטון עם פרופסורים שַׁמ קָקָדֶה ואמו טודורוב, והיה פוסט-דוקטורנט אורח ב-UC ברקלי עם פרופסור פייטר אבהל.הוא גם קיבל מספר פרסים בולטים כולל מלגת דוקטורט של JP Morgan ב-AI, פרס מאמר הטוב ביותר מ-IEEE SIMPAR, ופרס התזה הבוגרת הטובה ביותר מ-IIT מדراس.כדי להשתתף אונליין:מחכים לראותכם!