Van Pixels naar Acties

Deze lezing verkent hoe we agenten kunnen ontwerpen die kunnen waarnemen, redeneren en handelen in verschillende digitale en fysieke omgevingen.Eerst zal Aravind Fara presenteren, de nieuwste computergebruikagent van Microsoft die een nieuwe SoTA stelt voor zijn formaatklasse. Fara hanteert een "pixel-in, actie-uit" formulering: het waarneemt het computerscherm direct via ruwe screenshots, formuleert tussenliggende redeneringsstappen en voorspelt atomaire laag-niveau acties (klikken, scrollen, toetsaanslagen).Dit resulteert in robuuste en mensachtige gedragingen die generaliseren naar de dikke staart van webtaken. Vervolgens schakelen we van het navigeren op webpagina's naar het navigeren in de fysieke wereld.Aravind zal later OpenEQA presenteren, een benchmark die fysieke agenten vereist om fysieke ruimtes zoals huizen en kantoren te verkennen.We zullen zien dat grensmodellen hier ver onder de menselijke prestaties presteren, vooral op het gebied van ruimtelijk begrip. Dit motiveert Locate3D, een zelf-gestuurd model dat taal direct verankert in ruwe sensor streams om objecten in 3D te lokaliseren, en zo de soort persistente wereldrepresentaties opbouwt die geheugen en navigatie ondersteunen.Over de spreker:Aravind Rajeswaran is onderzoeker bij Microsoft AI Frontiers, waar hij werkt aan versterkend leren en wereldmodellen om generalistische AI-agenten te bouwen.Voor Microsoft heeft Aravind 4 jaar bij Meta (FAIR) gewerkt aan Embodied (Fysieke) AI. Enkele van zijn opmerkelijke projecten zijn Fara, OpenEQA, R3M, Decision Transformer en DAPG.Hij heeft zijn PhD behaald aan de Universiteit van Washington bij Profs. Sham Kakade en Emo Todorov, en was een bezoekende postdoc aan UC Berkeley bij Prof. Pieter Abbeel.Hij heeft ook verschillende opmerkelijke prijzen ontvangen, waaronder een JP Morgan PhD-beurs in AI, een beste paper prijs van IEEE SIMPAR, en de beste scriptieprijs van IIT Madras.Om online deel te nemen:We kijken ernaar uit je te zien!