Dos Pixels às Ações

Esta palestra explora como projetar agentes que podem perceber, raciocinar e agir em diversos ambientes digitais e físicos.Primeiro, Aravind apresentará Fara, o mais recente agente de uso de computador da Microsoft que estabelece um novo estado da arte para sua classe de tamanho. Fara adota uma formulação "pixel de entrada, ação de saída": ela percebe a tela do computador diretamente por meio de capturas de tela brutas, formula etapas de raciocínio intermediárias e prevê ações atômicas de baixo nível (cliques, rolagens, pressionamentos de tecla).Isso resulta em comportamentos robustos e semelhantes aos humanos que se generalizam para a cauda gorda das tarefas da web. Em seguida, passaremos de navegar em páginas da web para navegar no mundo físico.Aravind apresentará mais tarde o OpenEQA, um benchmark que exige que agentes físicos explorem espaços físicos como casas e escritórios.Veremos que os modelos de fronteira desempenham muito abaixo dos humanos aqui, especialmente na compreensão espacial. Isso motiva o Locate3D, um modelo auto-supervisionado que fundamenta a linguagem diretamente em fluxos de sensores brutos para localizar objetos em 3D, construindo o tipo de representações de mundo persistentes que apoiam a memória e a navegação.Sobre o palestrante:Aravind Rajeswaran é um pesquisador na Microsoft AI Frontiers, trabalhando em aprendizado por reforço e modelos de mundo para construir agentes de IA generalistas.Antes da Microsoft, Aravind passou 4 anos na Meta (FAIR) trabalhando em IA Embodida (Física). Alguns de seus projetos notáveis incluem Fara, OpenEQA, R3M, Decision Transformer e DAPG.Ele obteve seu PhD pela Universidade de Washington com os Prof. Sham Kakade e Emo Todorov, e foi um pós-doutorando visitante na UC Berkeley com o Prof. Pieter Abbeel.Ele também recebeu vários prêmios notáveis, incluindo uma bolsa de PhD em IA da JP Morgan, um prêmio de melhor artigo da IEEE SIMPAR e o prêmio de melhor tese de graduação do IIT Madras.Para participar online:Estamos ansiosos para vê-lo!