Od pikseli do działań

Prezentacja ta bada, jak projektować agentów, którzy potrafią postrzegać, rozumieć i działać w różnorodnych środowiskach cyfrowych i fizycznych. Na początku Aravind zaprezentuje Farę, najnowszego agenta komputerowego od Microsoft, który ustanawia nowy standard (SoTA) w swojej klasie rozmiarowej. Fara przyjmuje formułę "piksel-wejście, akcja-wyjście": postrzega ekran komputera bezpośrednio poprzez surowe zrzuty ekranu, formułuje pośrednie kroki rozumowania i przewiduje atomowe, niskopoziomowe działania (kliknięcia, przewijania, naciśnięcia klawiszy). Prowadzi to do solidnych i ludzkich zachowań, które generalizują się do grubej ogonowej części zadań internetowych. Następnie przechodzimy od nawigacji po stronach internetowych do nawigacji w świecie fizycznym. Aravind później zaprezentuje OpenEQA, zestaw testowy, który wymaga od agentów fizycznych badania przestrzeni fizycznych, takich jak domy i biura. Zobaczymy, że modele frontowe osiągają znacznie gorsze wyniki niż ludzie, szczególnie w zakresie zrozumienia przestrzennego. To motywuje Locate3D, model samonadzorujący, który ugruntowuje język bezpośrednio w surowych strumieniach sensorowych, aby lokalizować obiekty w 3D, tworząc rodzaj trwałych reprezentacji świata, które wspierają pamięć i nawigację. O prelegencie: Aravind Rajeswaran jest badaczem w Microsoft AI Frontiers, pracującym nad uczeniem wzmocnionym i modelami świata, aby budować ogólne agenty AI. Przed Microsoftem Aravind spędził 4 lata w Meta (FAIR), pracując nad uobecnioną (fizyczną) AI. Niektóre z jego istotnych projektów to Fara, OpenEQA, R3M, Decision Transformer i DAPG. Uzyskał doktorat na Uniwersytecie Waszyngtońskim pod kierunkiem Profesorów Sham Kakade i Emo Todorova, a także był gościnnym badaczem na UC Berkeley z Profesorem Pieterem Abbeelem. Otrzymał również kilka istotnych nagród, w tym stypendium doktoranckie JP Morgan w dziedzinie AI, nagrodę za najlepszy artykuł od IEEE SIMPAR oraz nagrodę za najlepszą pracę licencjacką z IIT Madras. Aby wziąć udział online: Z niecierpliwością czekamy na spotkanie z Wami!