Von Pixeln zu Aktionen

Dieser Vortrag untersucht, wie man Agenten entwerfen kann, die in der Lage sind, wahrzunehmen, zu schlussfolgern und in unterschiedlichen digitalen und physischen Umgebungen zu handeln.Zuerst wird Aravind Fara präsentieren, den neuesten Computernutzungsagenten von Microsoft, der einen neuen Stand der Technik (SoTA) für seine Größenklasse setzt. Fara folgt einer "Pixel-in, Action-out"-Formulierung: Sie nimmt den Computerbildschirm direkt durch rohe Screenshots wahr, formuliert Zwischenüberlegungen und sagt atomare, niedere Aktionen (Klicks, Scrolls, Tastatureingaben) voraus.Dies führt zu robusten und menschenähnlichen Verhaltensweisen, die auf die breiten Anforderungen von Webaufgaben verallgemeinert werden. Anschließend wird von der Navigation auf Webseiten zur Navigation in der physischen Welt gewechselt.Aravind wird später OpenEQA vorstellen, einen Benchmark, der von physischen Agenten verlangt, dass sie physische Räume wie Wohnungen und Büros erkunden.Wir werden sehen, dass Grenzmodelle hier weit unter dem Niveau der Menschen liegen, insbesondere im Bereich des räumlichen Verstehens. Dies motiviert Locate3D, ein selbstüberwachtes Modell, das Sprache direkt in rohe Sensorsignale verknüpft, um Objekte in 3D zu lokalisieren und die Art von beständigen Weltrepräsentationen aufzubauen, die Gedächtnis und Navigation unterstützen.Über den Sprecher:Aravind Rajeswaran ist Forscher bei Microsoft AI Frontiers und arbeitet an Verstärkendem Lernen und Weltmodellen zur Entwicklung von allgemeinen KI-Agenten.Vor Microsoft verbrachte Aravind 4 Jahre bei Meta (FAIR) und arbeitete an verkörperter (physischer) KI. Zu seinen bemerkenswerten Projekten zählen Fara, OpenEQA, R3M, Decision Transformer und DAPG.Er promovierte an der University of Washington bei den Professoren Sham Kakade und Emo Todorov und war als Gastpostdoktorand an der UC Berkeley bei Professor Pieter Abbeel.Er hat auch mehrere bemerkenswerte Auszeichnungen erhalten, darunter ein JP Morgan PhD-Stipendium in KI, einen Best Paper Award von IEEE SIMPAR und den Preis für die beste Bachelorarbeit vom IIT Madras.Um online teilzunehmen:Ich freue mich darauf, Sie zu sehen!