Sundae Robotics 08: Ловкое манипулирование, симуляция и точная сборка

🤖🍨 Возьмите мороженое и присоединяйтесь к Sundae Robotics, частной серии мероприятий по воскресеньям, доступной только по приглашению, которая собирает исследователей робототехники, основателей и разработчиков, работающих на переднем крае физического интеллекта. Sundae Robotics 07 Ловкое манипулирование, симуляция и обучение Sim-to-Real. Выступление: Масштабирование ловкого манипулирования с помощью симуляции — от общего использования инструментов к точной сборке. Масштабирование ловкого манипулирования с помощью симуляции: от общего использования инструментов к точной сборке. Открытие: Тайлер Лум, аспирант 5-го года по информатике в Стэнфордском университете · Лаборатория движения · Лаборатория интерактивного восприятия и обучения роботов. Ловкие роботизированные руки имеют потенциал для выполнения множества задач манипуляции, но обучение политик, которые одновременно универсальны и точны, остается вызовом. В этой лекции Тайлер представит два проекта, которые исследуют, как крупномасштабное обучение с подкреплением в симуляциях может помочь закрыть этот разрыв. Сначала Тайлер обсудит SimToolReal, который обучает политике использования ловких инструментов в симуляциях, обобщая на неизвестные инструменты и задачи и переносит их в реальный мир с нулевым набором. Затем он представит Play2Perfect, который исследует, как широкие, независимые от задачи предобучающие игры могут предоставлять повторно используемые навыки манипуляции, которые могут быть эффективно настроены для точной, требуемой сборки. Вместе эти проекты исследуют, как симуляция может быть использована для изучения универсального ловкого поведения, одновременно позволяя достичь точности и специализации, необходимых для сложных задач в реальном мире. Тайлер Лум — аспирант 5-го года по информатике в Стэнфордском университете, специализирующийся на искусственном интеллекте и робототехнике. Он находится под руководством профессора К. Карен Лю в Лаборатории движения (TML) и профессора Жаннетт Бог в Лаборатории интерактивного восприятия и обучения роботов (IPRL) и получает поддержку от NSERC Postgraduate Scholarship (PGS-D). Исследования Тайлера сосредоточены на строительстве роботов, которые могут элегантно и эффективно двигаться и действовать в динамических реальных условиях. Он разрабатывает методы интеграции основанного на обучении восприятия и контроля и исследует индуктивные искажения, которые могут повысить эффективность и надежность этих систем. Его недавние работы сильно сосредоточены на ловком манипулировании и обучении роботам от симуляции к реальности. Среди его проектов — Play2Perfect, который изучает предобучение игровых навыков для точной сборки; SimToolReal, который разрабатывает политики, ориентированные на объекты, для нулевой манипуляции ловкими инструментами; и Human2Sim2Robot, который исследует обучение с подкреплением Sim-to-Real на основе единственной человеческой демонстрации. Перед началом аспирантуры Тайлер изучал инженерную физику в Университете Британской Колумбии (UBC), где он был победителем стипендии Wesbrook. Он работал с профессором Михилем ван де Паном над обучением с подкреплением и планированием движений для четвероногих роботов и с профессором Пураном Аболмаесуми над глубоким обучением для медицинской визуализации. Тайлер также работал стажером по робототехнике в RAI и стажером по исследованию и разработке робототехники в NVIDIA, где он занимался обучением с подкреплением для гуманоидной локомоции и управлением ловкими роботами. Его более широкие исследовательские интересы включают интеллектуальных роботов, элегантное движение, интерактивное восприятие, ловкое бимануальное манипулирование, решения для неопределенности, долгосрочное планирование, креативное решение проблем, здравый смысл и стратегии исследования. Долгосрочной целью Тайлера является создание роботов, которые смогут мыслить в условиях неопределенности, постоянно учиться на своем окружении, адаптироваться к новым вызовам и стать достаточно надежными, чтобы обеспечивать огромную ценность для людей в повседневной жизни. Темы • Масштабирование ловкого манипулирования с помощью крупномасштабного обучения с подкреплением в симуляции. • Обучение политик, которые сочетают широкую обобщаемость с точным контролем. • Ловкое использование инструментов через неизвестные инструменты и задачи. • SimToolReal и нулевая передача из симуляции в реальный мир. • Политики, ориентированные на объекты, для ловкой манипуляции. • Обучение с подкреплением Sim-to-Real для многофingers роботов. • Широкое, независимое от задач предобучение для игр. • Обучение повторно используемым манипуляционным навыкам через симулированное взаимодействие. • Play2Perfect и эффективная настройка после этого. • Точная, контактная роботизированная сборка. • Переход от общего манипулирования к специализированной точности. • Обучение на основе восприятия и контроля для динамических реальных условий. • Индуктивные искажения для более эффективного и надежного обучения роботов. • Масштабирование обучения роботов через симулированные опыты. • Создание ловких систем, которые являются как общими, так и точными. Открытая дискуссия + Вопросы и ответы • Как ловкие политики могут оставаться общими в использовании инструментов и задач, не жертвуя точностью? • Какие аспекты ловкого манипулирования наиболее сложно перенести из симуляции в реальный мир? • Сколько разнообразия в симуляции необходимо для надежной нулевой передачи? • Какие представления или индуктивные искажения позволяют обобщать на неизвестные инструменты? • Может ли одна политика изучить повторно используемые концепции захвата, использования инструментов и контактного взаимодействия? • Чему учит независимая от задачи игра робота, чего не делают специфические для задачи демонстрации? • Как широкие манипуляционные навыки должны настраиваться для задач, требующих высокой точности? • Что делает контактную сборку принципиально отличной от общей манипуляции с объектами? • Сколько реальных данных потребуется после крупномасштабного предобучения в симуляции? • Может ли предобучение в игре стать общей основой для ловкого манипулирования? • Когда обучение с подкреплением в симуляции превосходит имитационное обучение на основе реальных демонстраций? • Как должны быть спроектированы симуляционные среды, чтобы способствовать передаваемым, а не специфическим для симулятора поведению? • Может ли одна и та же предобученная политика поддерживать как открытое использование инструментов, так и сильно ограниченную сборку? • Как должна быть интегрирована обучение на основе восприятия и контроля для надежного ловкого манипулирования? • Что потребуется для масштабирования симулированного ловкого обучения до настоящих универсальных роботизированных рук?