Від пікселів до дій

Цей виступ досліджує, як проєктувати агентів, які можуть сприймати, міркувати і діяти в різноманітних цифрових і фізичних середовищах.По-перше, Аравінд представить Фару, останнього комп'ютерного агента від Microsoft, який встановлює новий SoTA для свого класу розмірів. Фара використовує формулювання "піксель-в-дію": вона безпосередньо сприймає екран комп'ютера через сирі скріншоти, формулює проміжні етапи міркування та передбачає атомарні дії низького рівня (кліки, прокрутки, натискання клавіш).Це призводить до надійної і людської поведінки, яка узагальнюється на товстий хвостик веб-завдань. Наступне: переходимо від навігації веб-сторінками до навігації фізичним світом.Аравінд пізніше представить OpenEQA, бенчмарк, який вимагає від фізичних агентів досліджувати фізичні простори, такі як домівки та офіси.Ми побачимо, що перші моделі показують значно нижчі результати за людей, особливо в сфері просторового розуміння. Це мотивує Locate3D, самонавчальну модель, яка грунтує мову безпосередньо в сирих сенсорних потоках, щоб локалізувати об'єкти в 3D, створюючи такі персистентні світові репрезентації, які підтримують пам'ять і навігацію.Про доповідача:Аравінд Раджесваран — дослідник в Microsoft AI Frontiers, який працює над підкріплювальним навчанням і світовими моделями для створення загальних AI-агентів.Перед Microsoft Аравінд провів 4 роки в Meta (FAIR), працюючи над втіленим (фізичним) AI. Деякі з його помітних проєктів включають Фару, OpenEQA, R3M, Decision Transformer та DAPG.Він отримав ступінь PhD в Університеті Вашингтона під керівництвом проф. Шама Какаде та Емо Тодорова, і був гостем постдоком в UC Berkeley під керівництвом проф. Пітера Аббіела.Він також отримав кілька помітних нагород, зокрема стипендію JP Morgan PhD у галузі AI, нагороду за найкращу статтю від IEEE SIMPAR і нагоду за найкращу бакалаврську дисертацію від IIT Madras.Щоб відвідати онлайн:Чекаємо на вас!