🤖🍨 Sundae Robotics 06: V-JEPA 2 & Het Voorspellen van Fysieke Intelligentie

🤖🍨 Pak een sundae en sluit je aan bij Sundae Robotics, een privé, op uitnodiging gebaseerde zondagserie die robotica-onderzoekers, oprichters en bouwers verzamelt die werken aan de grens van fysieke intelligentie.Sundae Robotics 06Van V-JEPA 2 tot Fysieke Intelligentie — Voorspelling, Planning & Post-TrainingUitgelichte Lezing: Voorspellen van Fysieke Intelligentie — Daniel DugasV-JEPA 2, Voorspellende Wereldmodellen & Fysieke IntelligentieWaarom is intelligentie zo voorspellend? En hoe bouwen we AI-systemen die fysieke realiteit begrijpen, anticiperen op wat er vervolgens gebeurt en die voorspellingen gebruiken om te handelen?Deze sessie verkent V-JEPA 2, Meta FAIR’s zelfgestuurde videowereldmodel voor visueel begrip, voorspelling en robotplanning, als startpunt voor een bredere discussie over voorspellende fysieke intelligentie.In plaats van een model te trainen om elke pixel van een video te reconstrueren, leert V-JEPA 2 om abstracte representaties te voorspellen van hoe scènes zich ontwikkelen. Het doel is om hogere niveaus van voorspelbare structuur vast te leggen—objecten, beweging, geometrie, interacties en veranderingen in fysieke toestand—zonder modelcapaciteit te verspillen aan het reproduceren van elk visueel detail.Dit roept een fundamentele vraag op: wat zou een nuttig wereldmodel eigenlijk moeten voorspellen?V-JEPA 2 is voorgetraind op grootschalige natuurlijke video via zelfgestuurd leren, waardoor het model brede regulariteiten kan leren over hoe de fysieke wereld evolueert vanuit passieve visuele ervaring. Het model kan dan worden aangepast met relatief beperkte gegevens van robotinteracties, waarmee deze geleerde fysieke representaties worden verbonden met actie.De bredere schaalinghypothese is overtuigend: in plaats van robots de structuur van de fysieke wereld volledig te leren door middel van dure belichaamde ervaring, kunnen we misschien brede fysieke prioren leren van overvloedige menselijke en internetvideo's—en robotdata in de eerste plaats gebruiken om het model te leren hoe zijn eigen acties de wereld veranderen.Een bijzonder interessant deel van V-JEPA 2 is de uitbreiding van passieve video voorspelling naar actie-geconditioneerde robotplanning.In plaats van alleen te vragen:Wat gebeurt er als volgende?kan een robotwereldmodel vragen:Wat gebeurt er als volgende als ik deze actie onderneem?Gegeven een huidige observatie, kandidaatacties en een gewenst doel, kan het systeem redeneren over mogelijke toekomstige toestanden en acties selecteren die het milieu naar dat doel bewegen.Dit stelt gedragingen mogelijk zoals reiken, grijpen, manipuleren van eerder onzichtbare objecten en oppakken en plaatsen met behulp van doelafbeeldingen als taak specificaties.Het werk wijst op een bredere visie van wereldmodellen: AI-systemen die meer doen dan alleen herkennen wat momenteel zichtbaar is. Ze bouwen interne representaties van hoe de wereld zich gedraagt, voorspellen mogelijke toekomsten, evalueren die toekomsten en gebruiken voorspellingen om acties te kiezen.Daniel zal putten uit zijn eerdere werk bij Meta FAIR om te bespreken wat er naar voren komt als voorspellende wereldmodellen opschalen—from features versus pixels, tot cross-belichaming representaties, latente voorspelling, en robotplanning.Van daaruit zullen we verder gaan dan V-JEPA 2 naar een grotere vraag: