🤖🍨 סונדה רובוטיקה 05: מודלים תלת-ממדיים, אינטליגנציה חללית ו-AI אדפטיבי — אכיפת מודליות ומטרות הכשרה תלת-ממדיות

🤖🍨 קחו סונדא והצטרפו לסונדה רובוטיקה, סדרת יום ראשון פרטית על בסיס הזמנה בלבד שמאגדת חוקרי רובוטיקה, מייסדים ובנאים העובדים בחזית האינטליגנציה הפיזית.סונדה רובוטיקה 053D מודלים תלת-ממדיים, אינטליגנציה חללית ו-AI אדפטיבישיחה בולטים: אכיפת מודליות ומטרות הכשרה תלת-ממדיותהבנת העולם התלת-ממדי: מתכונים להכשרה מראש ולאחר מכן בקנה מידה עבור AI אדפטיבינואם מפתח: ברטיינוס (ברט) דיוסטרהוףסטודנט לתואר שלישי בשנה האחרונה, מכון רובוטיקה של אוניברסיטת קרנגי מלון (ג'פרי איטשובסקי) · מעבדות עולמיות · שותף עם דבה רמנאןאיך אנחנו בונים מודלים גנרטיביים שאנחנו מבינים את העולם התלת-ממדי עמוק, ומסתגלים במהירות למשימות חדשות? בשיחה זו, ברט מציג את התרומות האחרונות שלו במתכונים להכשרה מראש ולאחר מכן בקנה מידה. ראשית, הוא יציג מטרה חדשה להכשרה מראש כדי ללמוד דינמיקה תלת-ממדית. בהשראת למידת ייצוגים עם מסכה, הגישה חוקרת פיקוח בקנה מידה למידת ייצוגים שמעבירים למודלים תלת-ממדיים ולמידת חיקוי.שנית, ברט יכסה את האכיפת מודליות, מתכון לאחר ההכשרה לחלץ ידע חללי מדגמי יצירת תמונה. אכיפת מודליות מאמנת DiT אחת כדי למודל את ההפצה המשותפת בין מודליות על ידי קביעת רמת רעש נפרדת עבור כל מודל. השיטה מתחרה עם המודלים הטובים ביותר בהעמקה ומתרחבת עם הכשרה מראש מד文本 לתמונה.לבסוף, ברט ידון בעבודה המתמשכת לעבר AI יותר נגיש ואדפטיבי. בצד ההכשרה מראש, הוא יטען שייצור וידאו הוא בזבזני, ומניע את החיפוש אחרי מודלים מצומצמים יותר. עבור ההכשרה לאחר מכן, הוא יפרט כיוונים לעבר התאמה בין משימות במחיר נמוך למדי בהשוואה לעלות הנוכחית. יחד, הכיוונים האלה שואפים לעתיד שבו כל אחד יוכל להתאים מודלים פתוחים רבי עוצמה למשימות חדשות.המחקר של ברט מפתח מודלים גנרטיביים עבור אינטליגנציה חללית, הכוללים למידת ייצוגים תלת-ממדיים/ארבעה-ממדיים ומתכונים להכשרה מראש ולאחר מכן בקנה מידה שמעבירים למשימות הלאה. הוא סטודנט לתואר שלישי בשנה האחרונה במכון רובוטיקה של אוניברסיטת קרנגי מלון, שם הוא מונחה על ידי ג'פרי איטשובסקי ושיתף פעולה עם דבה רמנאן. הוא עובד כיום על הכשרה מראש תלת-ממדית במעבדות עולמיות. העבודה האחרונה שלו כוללת אכיפת מודליות, שהראתה שהכשרת טקסט לתמונה משפרת משמעותית את ההבנה התלת-ממדית. ברט מתעניין יותר ויותר ביסודות הגנרציה — איך המודלים האלה לומדים, ואיך להפוך אותם ליותר ניתנים להתאמה ויעילים. הוא מאמין בעתיד עם מודלים פתוחים רבי עוצמה שניתן להתאים במהירות למשימות חדשות, ומתרגש מלהפוך את ה-AI הפתוח למועיל לחברה.קריאה מקדימה• אכיפת מודליות: חילוץ ידע חללי ממודלי יצירת תמונהhttps://modality-forcing.github.ioנושאים• הכשרה מראש בקנה מידה להבנה של העולם התלת-ממדי• למידת ייצוגים הניתנים להעברה של דינמיקה תלת-ממדית• חילוץ ידע חללי ממודלי יצירת תמונה• למידת ייצוגים תלת-ממדיים/ארבעה-ממדיים עבור מודלים של עולם ולמידת חיקוי• הרחבת אינטליגנציה חללית עם הכשרה מראש מד文本 לתמונה• מודלים של מעבר מצומצמים מעבר לייצור וידאו• הכשרה לאחר מכן יעילה והתאמה בין משימות הלאה• מודלים בסיסיים פתוחים וניתנים להתאמהדיון פתוח + שאלות ותשובות• מהו היעד הנכון להכשרה מראש עבור מודלים שמצריכים להבין ולפעול בעולם התלת-ממדי?• האם מסלולי נקודה יכולים לספק ייצוג יותר נגיש עבור מודלים של עולם מאשר פיקסלים או וידאו?• כמה אינטליגנציה חללית כבר טמונה בתוך מודלים גדולים של יצירת תמונה?• האם ייצור וידאו הוא דרך יקרה מדי ללמוד דינמיקות של העולם?• איך ניתן להתאים מודלים בסיסיים רבי עוצמה למשימות חדשות במחיר נמוך בהרבה מהעלות הנוכחית?