De Píxeles a Acciones

Esta charla explora cómo diseñar agentes que pueden percibir, razonar y actuar en diversos entornos digitales y físicos. Primero, Aravind presentará a Fara, el último agente de uso informático de Microsoft que establece un nuevo estado del arte para su clase de tamaño. Fara adopta una formulación de "píxel de entrada, acción de salida": percibe la pantalla de la computadora directamente a través de capturas de pantalla en bruto, formula pasos intermedios de razonamiento y predice acciones atómicas de bajo nivel (clics, desplazamientos, pulsaciones de teclas). Esto resulta en comportamientos robustos y similares a los humanos que se generalizan a la larga cola de tareas web. A continuación, pasamos de navegar por páginas web a navegar por el mundo físico. Más adelante, Aravind presentará OpenEQA, un benchmark que requiere que agentes físicos exploren espacios físicos como hogares y oficinas. Veremos que los modelos de frontera rinden muy por debajo de los humanos aquí, especialmente en la comprensión espacial. Esto motiva Locate3D, un modelo auto-supervisado que fundamenta el lenguaje directamente en flujos de sensores en crudo para localizar objetos en 3D, construyendo el tipo de representaciones del mundo persistentes que apoyan la memoria y la navegación. Sobre el ponente: Aravind Rajeswaran es investigador en Microsoft AI Frontiers, trabajando en aprendizaje por refuerzo y modelos del mundo para construir agentes de IA generalistas. Antes de Microsoft, Aravind pasó 4 años en Meta (FAIR) trabajando en IA física (embodied AI). Algunos de sus proyectos notables incluyen Fara, OpenEQA, R3M, Decision Transformer y DAPG. Obtuvo su PhD de la Universidad de Washington con los Profs. Sham Kakade y Emo Todorov, y fue investigador visitante en UC Berkeley con el Prof. Pieter Abbeel. También ha recibido varios premios notables, incluyendo una beca de doctorado en IA de JP Morgan, un premio al mejor artículo de IEEE SIMPAR, y el premio a la mejor tesis de pregrado del IIT Madras. Para asistir en línea: ¡Esperamos verte pronto!