🤖🍨 Sundae Robotics 05: 3D Wereldmodellen, Ruimtelijke Intelligentie & Adaptieve AI — Modality Forcing & 3D Pre-training Doelstellingen

🤖🍨 Pak een sunday en sluit je aan bij Sundae Robotics, een privé, op uitnodiging gebaseerde zondagserie die robotica-onderzoekers, oprichters en bouwers samenbrengt die werken aan de grens van fysieke intelligentie.Sundae Robotics 05 3D Wereldmodellen, Ruimtelijke Intelligentie & Adaptieve AIUitgelichte Lezing: Modality Forcing & 3D Pre-training DoelstellingenBegrijpen van de 3D Wereld: Schaalbare Pre- en Post-training Recepten voor Adaptieve AISleutelpresentatie: Bardienus (Bart) Duisterhof Laatste jaar PhD-student, Carnegie Mellon University Robotics Institute (Jeffrey Ichnowski) · World Labs · Samenwerker met Deva RamananHoe bouwen we generatieve modellen die de 3D-wereld diepgaand begrijpen en snel aanpassen aan nieuwe taken? In deze lezing zal Bart zijn recente bijdragen aan schaalbare pre-training en post-training recepten presenteren. Eerst zal hij een nieuwe pre-training doelstelling presenteren voor het leren van 3D-dynamiek. Geïnspireerd door gemaskeerd representatieleren, verkent de aanpak schaalbare supervisie voor het leren van representaties die overdragen naar downstream wereldmodellering en imitatie leren.Tweede, Bart zal Modality Forcing bespreken, een post-training recept om ruimtelijke kennis uit afbeeldingsgeneratiemodellen te extraheren. Modality Forcing traint een enkele DiT om de gezamenlijke distributie tussen modaliteiten te modelleren door een afzonderlijk ruisniveau voor elke modaliteit in te stellen. De methode concurreert met de beste dieptemodellen en schaalt met tekst-naar-afbeelding pre-training.Tenslotte zal Bart het hebben over lopend werk richting meer schaalbare en adaptieve AI. Aan de pre-training kant zal hij beargumenteren dat video-generatie verspilling is, wat de zoektocht naar meer gecomprimeerde overgangsmodellen motiveert. Voor post-training zal hij richtingen schetsen naar aanpassing over taken tegen een fractie van de kosten van vandaag. Samen richten deze richtingen zich op een toekomst waar iedereen krachtige open modellen kan aanpassen voor nieuwe taken.Het onderzoek van Bart ontwikkelt generatieve modellen voor ruimtelijke intelligentie, dat 3D/4D representatieleren en schaalbare pre- en post-training recepten omvat die overdragen naar downstream taken. Hij is een laatste jaar PhD-student aan het Robotics Institute van Carnegie Mellon University, waar hij wordt bijgestaan door Jeffrey Ichnowski en samenwerkt met Deva Ramanan. Hij werkt momenteel aan 3D pre-training bij World Labs. Zijn recente werk omvat Modality Forcing, dat aantoonde dat tekst-naar-afbeelding pre-training de 3D-perceptie aanzienlijk verbetert. Bart is steeds meer geïnteresseerd in de fundamenten van generatie — hoe deze modellen leren, en hoe ze aanpasbaarder en efficiënter kunnen worden gemaakt. Hij gelooft in een toekomst met krachtige open modellen die snel kunnen worden aangepast voor nieuwe taken, en is gepassioneerd over het nuttig maken van open AI voor de samenleving.Voorlezen• Modality Forcing: Ruimtelijke kennis extraheren uit afbeeldingsgeneratiemodellen https://modality-forcing.github.ioThema's• Schaalbare pre-training voor 3D wereldbegrip• Leren van overdraagbare representaties van 3D-dynamiek• Ruimtelijke kennis extraheren uit afbeeldingsgeneratiemodellen• 3D/4D representatieleren voor wereldmodellering en imitatie leren• Schalen van ruimtelijke intelligentie met tekst-naar-afbeelding pre-training• Gecomprimeerde overgangsmodellen buiten video-generatie• Efficiënte post-training en aanpassing over downstream taken• Open en aanpasbare fundamentmodellenOpen Discussie + V&A• Wat is de juiste pre-training doelstelling voor modellen die de 3D-wereld moeten begrijpen en erop moeten handelen?• Kunnen punttracks een meer schaalbare representatie voor wereldmodellering bieden dan pixels of video?• Hoeveel ruimtelijke intelligentie is al latent binnen grote afbeeldingsgeneratiemodellen?• Is video-generatie een onnodig dure manier om werelddynamiek te leren?• Hoe kunnen krachtige fundamentmodellen worden aangepast aan nieuwe taken voor een fractie van de kosten van vandaag?