🤖🍨 Sundae Robotics 05: 3D-Weltmodelle, räumliche Intelligenz & adaptive KI — Modalitätszwang & 3D-Vortrainingsziele

🤖🍨 Greifen Sie zu einem Eisbecher und schließen Sie sich Sundae Robotics an, einer privaten, nur auf Einladung zugänglichen Sonntagsreihe, die Robotikforscher, Gründer und Entwickler zusammenbringt, die an der Grenze der physischen Intelligenz arbeiten.Sundae Robotics 053D Weltmodelle, räumliche Intelligenz & adaptive KIFeatured Talk: Modalitätszwang & 3D-VortrainingszieleVerstehen der 3D-Welt: Skalierbare Vor- und Nachtrainingsrezepte für adaptive KIKeynote: Bardienus (Bart) DuisterhofDoktorand im letzten Jahr, Robotics Institute der Carnegie Mellon University (Jeffrey Ichnowski) · World Labs · Mitarbeiter von Deva RamananWie bauen wir generative Modelle, die die 3D-Welt tiefgehend verstehen und sich schnell an neue Aufgaben anpassen? In diesem Vortrag wird Bart seine kürzlichen Beiträge zu skalierbarem Vortraining und Nachtraining vorstellen. Zunächst wird er ein neues Vortrainingsziel für das Lernen von 3D-Dynamiken präsentieren. Inspiriert von maskiertem Repräsentationslernen untersucht der Ansatz skalierbare Aufsicht für das Lernen von Repräsentationen, die auf nachgelagerte Weltmodellierung und Imitationslernen übertragen werden.Als Nächstes wird Bart den Modalitätszwang behandeln, ein Nachtrainingsrezept zur Extraktion räumlichen Wissens aus Modellen zur Bildgenerierung. Modalitätszwang trainiert ein einzelnes DiT, um die gemeinsame Verteilung zwischen Modalitäten zu modellieren, indem für jede Modalität ein separates Rauschlevel festgelegt wird. Die Methode konkurriert mit den besten Tiefenmodellen und skaliert mit dem Vortraining von Text zu Bild.Schließlich wird Bart über laufende Arbeiten zu skalierbarer und adaptiver KI sprechen. Auf der Seite des Vortrainings wird er argumentieren, dass die Videogenerierung verschwenderisch ist, was die Suche nach komprimierteren Übergangsmodellen antreibt. Für das Nachtraining wird er Richtungen aufzeigen, die eine Anpassung über Aufgaben hinweg zu einem Bruchteil der heutigen Kosten ermöglichen. Gemeinsam zielen diese Richtungen auf eine Zukunft ab, in der jeder leistungsstarke offene Modelle schnell an neue Aufgaben anpassen kann.Barts Forschung entwickelt generative Modelle für räumliche Intelligenz, die das Lernen von 3D/4D-Repräsentationen und skalierbare Vor- und Nachtrainingsrezepte umfasst, die auf nachgelagerte Aufgaben übertragen werden. Er ist Doktorand im letzten Jahr am Robotics Institute der Carnegie Mellon University, wo er von Jeffrey Ichnowski betreut wird und mit Deva Ramanan zusammenarbeitet. Derzeit arbeitet er an 3D-Vortraining bei World Labs. Seine aktuellen Arbeiten umfassen den Modalitätszwang, der gezeigt hat, dass das Vortraining von Text zu Bild die 3D-Wahrnehmung erheblich verbessert. Bart interessiert sich zunehmend für die Grundlagen der Generierung — wie diese Modelle lernen und wie man sie anpassungsfähiger und effizienter machen kann. Er glaubt an eine Zukunft mit leistungsstarken offenen Modellen, die schnell für neue Aufgaben angepasst werden können, und ist leidenschaftlich daran interessiert, offene KI für die Gesellschaft nützlich zu machen.Vorablesen• Modalitätszwang: Extraktion räumlichen Wissens aus Modellen zur Bildgenerierunghttps://modality-forcing.github.ioThemen• Skalierbares Vortraining für das Verständnis der 3D-Welt• Lernen übertragbarer Repräsentationen von 3D-Dynamiken• Extrahieren räumlichen Wissens aus Modellen zur Bildgenerierung• 3D/4D-Repräsentationslernen für Weltmodellierung und Imitationslernen• Skalierung räumlicher Intelligenz mit Vortraining von Text zu Bild• Komprimierte Übergangsmodelle jenseits der Videogenerierung• Effizientes Nachtraining und Anpassung über nachgelagerte Aufgaben• Offene und anpassungsfähige GrundmodelleOffene Diskussion + Q&A• Was ist das richtige Vortrainingsziel für Modelle, die die 3D-Welt verstehen und darin agieren müssen?• Können Punktverfolgungen eine skalierbarere Repräsentation für die Weltmodellierung bieten als Pixel oder Video?• Wie viel räumliche Intelligenz ist bereits latent in großen Modellen zur Bildgenerierung vorhanden?• Ist die Videogenerierung eine unnötig teure Methode, um die Dynamik der Welt zu lernen?• Wie können leistungsstarke Grundmodelle zu neuen Aufgaben zu einem Bruchteil der heutigen Kosten angepasst werden?