קבוצת הקריאה BRISA 03 - TOPReward

לפני ההשקה הרשמית שלנו בסתיו הזה, אנחנו ממשיכים עם סדרת ההשקות המוקדמות שלנו עם קבוצת קריאה נוספת: יושבים עם מאמר, מבינים אותו כמו שצריך, ושואלים מה ידרוש לבנות אותו בעצמנו. המאמר השלישי שלנו הוא TOPReward: הסתברויות טוקנים כתגמולים נסתרים של אפס יריות עבור רובוטיקה (Chen et al., 2026), אשר שואל שאלה מדהימה פשוטה: האם מודל חזון-שפה שמאומן מראש יכול כבר לומר לנו כמה טוב רובוט מבצע — מבלי לאמן מודל תגמולים נפרד? בלמידת רובוטים, לדעת אם משימה הושלמה היא יחסית קלה. לדעת כמה התקדמות הרובוט עושה בדרך היא הרבה יותר קשה. TOPReward מת approaches את זה מבלי לעצב תגמולים ידנית או לאמן מודל נוסף. במקום לבקש מ-VLM לפלט באופן מפורש ציון התקדמות, זה שואל את המודל האם משימה הושלמה ומביט ישירות בהסתברויות שהוא מקצה לטוקנים של התשובות האפשריות. ההסתברויות של טוקנים אלו הופכות לאות תגמול של אפס יריות שניתן להשתמש בו למדוד התקדמות במשימה, לזהות הצלחה, ולשנות משקלים של הדגמות רובוט. מה שהופך את הרעיון למעניין במיוחד הוא שהמודל של תגמולים עצמו מעולם לא אומן במפורש להיות מודל תגמולים. לכן, המאמר מעורר שאלה רחבה יותר: עד כמה פיקוח מועיל כבר מוסתר בתוכניות יסוד אם אנחנו יודעים היכן לחפש אותו? TOPReward נכנס גם לחקר שלנו דרך MolmoAct2, שבו הוא משמש כאות תגמול בתוך pipeline של למידת רובוטים גדול יותר. במהלך המפגש, נתמקד בשלוש דברים: איך TOPReward באמת פועל, איך הוא מיושם על מדיניות ויזומוטורית יחסית פשוטה כמו ManiFlow — שהיא לא VLA — ומה קורה לביצוע מדיניות כאשר משקלים של הדגמות משתנים בעזרת האות הזה. זה נותן לנו שאלה מעניינת מעבר ל-TOPReward עצמו: האם ידע שנמצא בתוך VLM יכול לשפר מדיניות רובוטים שאינה משתמשת ב-VLM בזמן ניתוח כלל? ותמיד, נסתכל מעבר לתוצאות הכותרת: עד כמה משכנע הוא אות התגמול, מה הוא תופס למעשה, היכן הוא עלול להיכשל, וכמה קשה יהיה לשחזר את הרעיון בעצמנו? אין צורך בהכנה. סקירה מהירה של התקציר אם יש לכם עשר דקות. כולם מוזמנים — לא משנה מה אתם לומדים, היכן אתם לומדים וכמה רובוטיקה עשיתם עד כה. בואו עם שאלות, חילוקי דעות, או דעה אישית לגבי איך מודלים בסיסיים צריכים להיות משמשים בלמידת רובוטים. 🎟️ יש מספר מוגבל של מקומות, כך שנוכל לשמור את המפגש אישי ואינטראקטיבי. בבקשה הרשמו מוקדם ובואו רק אם קיבלתם כרטיס. 📍 המפגש יתקיים בקמפוס Merantix AI. הדלתות נפתחות בשעה 18:30, ונתחיל בשעה 18:45. 👋 חדש כאן? הצטרפו לקבוצת הקהילה — כל השאר מתפרסם שם קודם.