Lier la simulation physique et les modèles du monde pour la manipulation robotique

Les avancées récentes dans les modèles du monde appris ont montré une capacité impressionnante à générer des futurs visuellement plausibles à partir d'images et de vidéos, mais la prédiction visuelle seule est insuffisante pour une manipulation robotique riche en interactions. Un modèle qui prédit le flux de pixels peut encore manquer des dynamiques de contact, des contraintes de contact par friction et de la physique sous-actionnée nécessaires pour un contrôle fiable. Ainsi, une question naturelle à poser est de savoir comment l'expertise en développement de simulations modernes peut améliorer l'apprentissage des modèles du monde pour un meilleur contrôle robotique ? Cet atelier discutera de quatre questions à l'intersection des modèles du monde, de la simulation physique et du contrôle pour la manipulation.