От пикселей к действиям

Этот доклад исследует, как проектировать агентов, которые могут воспринимать, размышлять и действовать в различных цифровых и физических средах.Сначала Аравинд представит Фара, последний агент по использованию компьютера от Microsoft, который устанавливает новый уровень SoTA для своего класса размеров. Фара использует формулировку «пиксель-вход, действие-выход»: она напрямую воспринимает экран компьютера через сырые скриншоты, формулирует промежуточные шаги рассуждения и предсказывает атомарные действия низкого уровня (щелчки, прокрутки, нажатия клавиш).Это приводит к устойчивым и человекоподобным поведением, которое обобщает на широкий спектр веб-задач. Далее, переходя от навигации по веб-страницам к навигации в физическом мире.Аравинд позже представит OpenEQA, бенчмарк, который требует от физических агентов исследовать физические пространства, такие как дома и офисы.Мы увидим, что модели на переднем крае дают результаты значительно ниже, чем люди, особенно в области пространственного понимания. Это стало причиной создания Locate3D, самообучающейся модели, которая связывает язык напрямую с сырыми потоками данных датчиков для локализации объектов в 3D, создавая такие постоянные представления мира, которые поддерживают память и навигацию.О спикере:Аравинд Раджесваран - исследователь в Microsoft AI Frontiers, работающий над обучением с подкреплением и моделями мира для создания универсальных ИИ-агентов.Перед Microsoft Аравинд провел 4 года в Meta (FAIR), занимаясь Воплощенным (Физическим) ИИ. Некоторые из его выдающихся проектов включают Фара, OpenEQA, R3M, Decision Transformer и DAPG.Он получил степень PhD в Университете Вашингтона под руководством профессоров Шама Какейда и Эмо Тодорова, и был гостевым постдоком в UC Berkeley под руководством профессора Питера Аббиила.Он также получил несколько выдающихся наград, включая стипендию PhD от JP Morgan в области ИИ, награду за лучшую статью от IEEE SIMPAR и награду за лучший дипломный проект от IIT Madras.Чтобы участвовать онлайн:С нетерпением ждем встречи с вами!