Des Pixels aux Actions

Cette présentation explore comment concevoir des agents capables de percevoir, raisonner et agir dans des environnements numériques et physiques variés.Tout d'abord, Aravind présentera Fara, le dernier agent d'utilisation informatique de Microsoft qui établit un nouveau SoTA pour sa classe de taille. Fara adopte une formulation "pixel en, action out" : il perçoit directement l'écran de l'ordinateur à travers des captures d'écran brutes, formule des étapes de raisonnement intermédiaires et prédit des actions atomiques à faible niveau (clics, défilements, frappes).Cela se traduit par des comportements robustes et semblables à ceux des humains qui se généralisent à la queue épaisse des tâches web. Ensuite, nous passerons de la navigation sur des pages web à celle du monde physique.Aravind présentera plus tard OpenEQA, une référence qui exige que des agents physiques explorent des espaces physiques tels que des maisons et des bureaux. Nous verrons que les modèles à la pointe de la technologie performent bien en dessous des humains ici, surtout en ce qui concerne la compréhension spatiale. Cela motive Locate3D, un modèle auto-supervisé qui ancre le langage directement dans des flux de capteurs bruts pour localiser des objets en 3D, construisant le type de représentations du monde persistantes qui soutiennent la mémoire et la navigation.À propos du conférencier :Aravind Rajeswaran est chercheur chez Microsoft AI Frontiers, travaillant sur l'apprentissage par renforcement et les modèles du monde pour construire des agents IA généralistes.Avant Microsoft, Aravind a passé 4 ans chez Meta (FAIR) à travailler sur l'IA incarnée (physique). Certains de ses projets notables incluent Fara, OpenEQA, R3M, Decision Transformer et DAPG.Il a obtenu son doctorat à l'Université de Washington avec les professeurs Sham Kakade et Emo Todorov, et a été postdoctorant invité à l'UC Berkeley avec le professeur Pieter Abbeel.Il a également reçu plusieurs prix notables, y compris une bourse de doctorat en IA de JP Morgan, un prix du meilleur article de l'IEEE SIMPAR, et le prix de la meilleure thèse de premier cycle de l'IIT Madras.Pour assister en ligne :Au plaisir de vous voir !