Совмещение физического моделирования и мировых моделей для манипуляции роботами

Недавние достижения в изученных мировых моделях продемонстрировали выдающуюся способность генерировать визуально правдоподобные будущие события из изображений и видео, однако визуального предсказания недостаточно для богатой взаимодействием манипуляции роботами. Модель, предсказывающая поток пикселей, может не учитывать динамику контакта, ограничения трения и недоактуированную физику, необходимые для надежного управления. Таким образом, естественный вопрос заключается в том, как опыт современного развития моделирования может улучшить обучение мировым моделям для более качественного управления роботами? Этот семинар будет обсуждать четыре вопроса на пересечении мировых моделей, физического моделирования и управления для манипуляции.