Sundae Robotics 08: Manipulação Dexterosa, Simulação e Montagem Precisa

🤖🍨 Pegue um sundae e junte-se ao Sundae Robotics, uma série privada e apenas por convite aos domingos que reúne pesquisadores, fundadores e construtores de robótica que trabalham na vanguarda da inteligência física. Sundae Robotics 07 Manipulação Dexterosa, Simulação e Aprendizado Sim-para-Real Palestra em Destaque: Escalando a Manipulação Dexterosa com Simulação — Do Uso Geral de Ferramentas à Montagem Precisa. Escalando a Manipulação Dexterosa com Simulação: Do Uso Geral de Ferramentas à Montagem Precisa. Palestra Principal: Tyler Lum, aluno de doutorado em Ciência da Computação no 5º ano, Universidade de Stanford · The Movement Lab · Laboratório de Percepção Interativa e Aprendizado de Robôs. As mãos robóticas dexterosas têm o potencial de realizar uma ampla gama de tarefas de manipulação, mas aprender políticas que sejam tanto gerais quanto precisas continua sendo desafiador. Nesta palestra, Tyler apresentará dois projetos que exploram como o aprendizado por reforço em grande escala na simulação pode ajudar a preencher essa lacuna. Primeiro, Tyler discutirá o SimToolReal, que aprende políticas de uso de ferramentas dexterosas em simulação que se generalizam para ferramentas e tarefas desconhecidas e transferem zero-shot para o mundo real. Em seguida, ele apresentará o Play2Perfect, que estuda como o pré-treinamento de brincadeiras amplas e agnósticas em tarefas pode fornecer habilidades de manipulação reutilizáveis que são ajustadas de maneira eficiente para montagens precisas e ricas em contato. Juntos, esses projetos exploram como a simulação pode ser usada para aprender comportamentos dexterosos amplamente capazes, ao mesmo tempo em que ainda permite a precisão e especialização exigidas para tarefas desafiadoras do mundo real. Tyler Lum é um estudante de doutorado em Ciência da Computação no 5º ano na Universidade de Stanford, estudando inteligência artificial e robótica. Ele é orientado pelo Prof. C. Karen Liu no The Movement Lab (TML) e pela Prof. Jeannette Bohg no Laboratório de Percepção Interativa e Aprendizado de Robôs (IPRL), e é apoiado por uma Bolsa de Estudos de Pós-Graduação da NSERC (PGS-D). A pesquisa de Tyler se concentra na construção de robôs que podem se mover e agir em ambientes reais dinâmicos de maneira elegante e eficiente. Ele desenvolve métodos para integrar percepção e controle baseados em aprendizado, e estuda os vieses indutivos que podem melhorar a eficiência e confiabilidade desses sistemas. Seu trabalho recente foca muito na manipulação dexterosa e no aprendizado de robôs sim-para-real. Seus projetos incluem Play2Perfect, que estuda o pré-treinamento dexteroso para montagem precisa; SimToolReal, que desenvolve políticas centradas em objetos para manipulação dexterosa em zero-shot; e Human2Sim2Robot, que explora aprendizado por reforço sim-para-real a partir de uma única demonstração humana. Antes de seu doutorado, Tyler estudou Física de Engenharia na Universidade da Colúmbia Britânica (UBC), onde se formou como um Wesbrook Scholar. Ele trabalhou com o Prof. Michiel van de Panne em aprendizado por reforço e planejamento de movimento para robôs quadrúpedes e com o Prof. Purang Abolmaesumi em aprendizado profundo para análise de imagens médicas. Tyler também trabalhou como estagiário de pesquisa em robótica na RAI e como estagiário de P&D de Robótica na NVIDIA, onde trabalhou em aprendizado por reforço para locomoção humanoide e controle de robôs dexterosos. Seus interesses de pesquisa mais amplos incluem robôs inteligentes, movimento elegante, percepção interativa, manipulação bimanual dexterosa, raciocínio sob incerteza, planejamento a longo prazo, resolução criativa de problemas, raciocínio do senso comum e estratégias de exploração. O objetivo de longo prazo de Tyler é criar robôs que possam raciocinar sob incerteza, aprender continuamente com seus ambientes, se adaptar a novos desafios e se tornar confiáveis o suficiente para criar um valor imenso para as pessoas em suas vidas cotidianas. Tópicos • Escalando a manipulação dexterosa com aprendizado por reforço em grande escala na simulação • Aprendendo políticas que combinam ampla generalização com controle preciso • Uso dexteroso de ferramentas em ferramentas e tarefas desconhecidas • SimToolReal e transferência zero-shot da simulação para o mundo real • Políticas centradas em objetos para manipulação dexterosa • Aprendizado por reforço sim-para-real para mãos robóticas multifingeradas • Pré-treinamento de brincadeiras amplas e agnósticas em tarefas • Aprendendo habilidades de manipulação reutilizáveis por meio de interação simulada • Play2Perfect e ajuste eficiente a montagens de downstream • Montagem robótica precisa e rica em contato • Unindo manipulação de uso geral e precisão especializada • Percepção e controle baseados em aprendizado para ambientes dinâmicos do mundo real • Vieses indutivos para uma aprendizagem robótica mais eficiente e confiável • Escalando o aprendizado robótico por meio de experiência simulada • Construindo sistemas dexterosos que sejam ao mesmo tempo gerais e precisos Discussão Aberta + Perguntas e Respostas • Como as políticas dexterosas podem permanecer gerais entre ferramentas e tarefas sem sacrificar a precisão? • Quais aspectos da manipulação dexterosa são mais difíceis de transferir da simulação para o mundo real? • Quanta diversidade na simulação é necessária para uma transferência robusta de zero-shot? • Quais representações ou vieses indutivos permitem generalização entre ferramentas desconhecidas? • Uma única política pode aprender noções reutilizáveis de agarre, uso de ferramentas e interação rica em contato? • O que a brincadeira agnóstica em tarefas ensina a um robô que demonstrações específicas de tarefa não ensinam? • Como as habilidades amplas de manipulação devem ser ajustadas para tarefas que requerem controle extremamente preciso? • O que torna a montagem rica em contato fundamentalmente diferente da manipulação de objetos gerais? • Quanta informação do mundo real ainda é necessária após o pré-treinamento em grande escala na simulação? • O pré-treinamento em brincadeira pode se tornar uma base geral para manipulação dexterosa? • Quando o aprendizado por reforço na simulação supera o aprendizado por imitação a partir de demonstrações reais? • Como os ambientes de simulação devem ser projetados para incentivar comportamentos transferíveis em vez de comportamentos específicos do simulador? • A mesma política pré-treinada pode suportar tanto o uso aberto de ferramentas quanto montagens altamente restritas? • Como a percepção e o controle baseados em aprendizado devem ser integrados para uma manipulação dexterosa confiável? • O que seria necessário para escalar o aprendizado dexteroso simulado para mãos robóticas realmente de uso geral?