Die Zusammenführung von Physiksimulation und Weltmodellen für die robotergestützte Manipulation

Neueste Fortschritte bei gelernten Weltmodellen haben beeindruckende Fähigkeiten gezeigt, visuell plausible Zukünfte aus Bildern und Videos zu erzeugen. Dennoch reicht die visuelle Vorhersage allein nicht aus, um interaktionsreiche Roboter-Manipulation zu ermöglichen. Ein Modell, das den Pixelfluss vorhersagt, könnte dennoch die Kontaktdynamik, die Reibungskontaktbeschränkungen und die unteraktuierten physikalischen Eigenschaften für eine zuverlässige Steuerung missachten. Daher ist die naheliegende Frage, wie das Fachwissen der modernen Simulationserstellung das Lernen von Weltmodellen für eine bessere robotergestützte Steuerung verbessern kann. In diesem Workshop werden vier Fragen behandelt, die an der Schnittstelle von Weltmodellen, Physiksimulation und Steuerung für die Manipulation stehen.