Sundae Robotics 08: Geschickliche Manipulation, Simulation & Präzise Montage

🤖🍨 Schnappen Sie sich ein Eisbecher und schließen Sie sich Sundae Robotics an, einer privaten, nur auf Einladung zugänglichen Sonntagsreihe, die Robotics-Forscher, Gründer und Entwickler zusammenbringt, die an der Spitze der physischen Intelligenz arbeiten. Sundae Robotics 07 Geschickliche Manipulation, Simulation & Sim-to-Real Lernen Featured Talk: Skalierung geschicklicher Manipulation mit Simulation — Vom allgemeinen Werkzeugeinsatz zur präzisen Montage. Skalierung geschicklicher Manipulation mit Simulation: Vom allgemeinen Werkzeugeinsatz zur präzisen Montage. Eröffnungsrede: Tyler Lum, Doktorand im 5. Jahr der Informatik an der Stanford Universität · The Movement Lab · Interactive Perception and Robot Learning Lab. Geschickliche Roboterhände haben das Potenzial, eine Vielzahl von Manipulationsaufgaben auszuführen, aber das Lernen von Politiken, die sowohl allgemein als auch präzise sind, bleibt eine Herausforderung. In diesem Vortrag wird Tyler zwei Projekte vorstellen, die untersuchen, wie großangelegte Verstärkungslernen in Simulationen helfen kann, diese Lücke zu schließen. Zuerst wird Tyler SimToolReal diskutieren, das geschickliche Werkzeugverwendungsrichtlinien in Simulationen lernt, die auf unbekannte Werkzeuge und Aufgaben verallgemeinern und im Nullschuss in die reale Welt übertragen. Danach wird er Play2Perfect vorstellen, das untersucht, wie breite, aufgabenagnostische Vortrainingsspiele wiederverwendbare Manipulationsfähigkeiten bereitstellen können, die effizient für präzise, kontaktreiche Montage feinabgestimmt werden. Gemeinsam erkunden diese Projekte, wie Simulation genutzt werden kann, um breit fähige geschickliche Verhaltensweisen zu lernen und gleichzeitig die Präzision und Spezialisierung zu ermöglichen, die für herausfordernde Aufgaben in der realen Welt erforderlich sind. Tyler Lum ist Doktorand im 5. Jahr der Informatik an der Stanford Universität und studiert künstliche Intelligenz und Robotik. Er wird von Prof. C. Karen Liu im The Movement Lab (TML) und Prof. Jeannette Bohg im Interactive Perception and Robot Learning (IPRL) Lab betreut und erhält Unterstützung durch ein NSERC Postgraduate Scholarship (PGS-D). Tyler's Forschung konzentriert sich auf den Bau von Robotern, die sich in dynamischen realen Umgebungen elegant und effizient bewegen und agieren können. Er entwickelt Methoden zur Integration von lernbasierter Wahrnehmung und Kontrolle und untersucht die induktiven Verzerrungen, die die Effizienz und Zuverlässigkeit dieser Systeme verbessern können. Seine jüngsten Arbeiten konzentrieren sich stark auf geschickliche Manipulation und Sim-to-Real Roboterlernen. Zu seinen Projekten gehören Play2Perfect, das geschickliches Spielvortraining für präzise Montage untersucht; SimToolReal, das objektzentrierte Politiken für Nullschuss geschickte Werkzeugmanipulation entwickelt; und Human2Sim2Robot, das Sim-to-Real Verstärkungslernen aus einer einzigen menschlichen Demonstration erkundet. Vor seinem PhD studierte Tyler Engineering Physics an der University of British Columbia (UBC), wo er als Wesbrook Scholar abschloss. Er arbeitete mit Prof. Michiel van de Panne an Verstärkungslernen und Bewegungsplanung für quadrupedale Roboter und mit Prof. Purang Abolmaesumi an Deep Learning für die medizinische Bildanalyse. Tyler arbeitete auch als Forschungspraktikant für Robotik bei RAI und als Praktikant für Robotik-Forschung und -Entwicklung bei NVIDIA, wo er an Verstärkungslernen für humanoide Lokomotion und geschickte Robotersteuerung arbeitete. Seine breiteren Forschungsinteressen umfassen intelligente Roboter, elegante Bewegung, interaktive Wahrnehmung, geschickte bimanuale Manipulation, das Durchdenken von Unsicherheiten, langfriste Planung, kreatives Problemlösen, gesundes Menschenverstand und Erkundungsstrategien. Tyler's langfristiges Ziel ist es, Roboter zu schaffen, die durch Unsicherheiten denken, kontinuierlich aus ihrer Umgebung lernen, sich neuen Herausforderungen anpassen und zuverlässig genug werden, um den Menschen im Alltag einen enormen Wert zu bieten. Themen • Skalierung geschicklicher Manipulation mit groß angelegtem Verstärkungslernen in Simulation. • Lernen von Politiken, die breite Verallgemeinerung mit präziser Kontrolle kombinieren. • Geschickliche Werkzeugnutzung über unbekannte Werkzeuge und Aufgaben. • SimToolReal und Nullschussübertragung von Simulation in die reale Welt. • Objektzentrierte Politiken für geschickte Manipulation. • Sim-to-Real Verstärkungslernen für mehrfingerige Roboterhände. • Breites, aufgabenagnostisches Vortraining für Spiele. • Lernen von wiederverwendbaren Manipulationsfähigkeiten durch simulierte Interaktion. • Play2Perfect und effizientes Fein-Tuning im Nachgang. • Präzise, kontaktreiche robotische Montage. • Überbrückung von allgemeiner Manipulation und spezialisierter Präzision. • Lernbasierte Wahrnehmung und Kontrolle für dynamische reale Umgebungen. • Induktive Verzerrungen für effizienteres und zuverlässigeres Roboterlernen. • Skalierung des Roboterlernens durch simulierte Erfahrungen. • Bau geschickter Systeme, die sowohl allgemein als auch präzise sind. Offene Diskussion + Q&A • Wie können geschickliche Politiken über Werkzeuge und Aufgaben hinweg allgemein bleiben, ohne Präzision zu opfern? • Welche Aspekte der geschicklichen Manipulation sind am schwierigsten von der Simulation in die reale Welt zu übertragen? • Wie viel Simulationsvielfalt ist für robuste Nullschussübertragungen erforderlich? • Welche Darstellungen oder induktiven Verzerrungen ermöglichen die Verallgemeinerung über unbekannte Werkzeuge? • Kann eine einzige Politik wiederverwendbare Konzepte von Greifen, Werkzeugnutzung und kontaktreicher Interaktion lernen? • Was lehrt ein aufgabenagnostisches Spiel einen Roboter, was aufgaben-spezifische Demonstrationen nicht tun? • Wie sollten breite Manipulationsfähigkeiten für Aufgaben feinabgestimmt werden, die extrem präzise Kontrolle erfordern? • Was macht kontaktreiche Montage fundamental anders als allgemeine Objektmanipulation? • Wie viele reale Daten sind nach groß angelegtem Simulationsvortraining noch notwendig? • Kann das Spielvortraining eine allgemeine Grundlage für geschickliche Manipulation werden? • Wann übertrifft Verstärkungslernen in Simulation Imitationslernen aus realen Demonstrationen? • Wie sollten Simulationsumgebungen gestaltet werden, um übertragbare statt simulator-spezifische Verhaltensweisen zu fördern? • Kann dieselbe vortrainierte Politik sowohl offene Werkzeugnutzung als auch hochgradig eingeschränkte Montage unterstützen? • Wie sollte lernbasierte Wahrnehmung und Kontrolle für zuverlässige geschickte Manipulation integriert werden? • Was würde nötig sein, um das simulierte geschickte Lernen zu skalieren, um wirklich allgemeine Roboterhände zu erreichen?