Unir la simulación física y los modelos del mundo para la manipulación robótica

Los recientes avances en modelos del mundo aprendidos han demostrado una impresionante capacidad para generar futuros visualmente plausibles a partir de imágenes y videos, pero la predicción visual por sí sola es insuficiente para la manipulación robótica rica en interacciones. Un modelo que predice el flujo de píxeles puede aún pasar por alto la dinámica de contacto, las restricciones de contacto por fricción y la física subactuada necesarias para un control confiable. Por lo tanto, una pregunta natural que surge es cómo la experiencia en el desarrollo de simulaciones modernas puede mejorar el aprendizaje de modelos del mundo para un mejor control robótico. Este taller discutirá cuatro preguntas en la intersección de modelos del mundo, simulación física y control para la manipulación.