Budowanie samoulepszających się systemów AI

W miarę jak duże modele językowe są stosowane w złożonych dziedzinach, granica przesuwa się z modeli trenowanych raz na samoulepszające się systemy. Amit rozłoży samoulepszanie na trzy osie: generowanie środowiska, szkolenie RL i ewolucję sprzętu, w tym weryfikatory i pamięć. W przypadku pierwszych dwóch zaprezentuje wykonalne kontrfakty, ramy, które operacjonalizują rozumowanie kontrfaktyczne jako kod, umożliwiając skalowalne generowanie środowisk RL z kontrolowalnym poziomem trudności i weryfikowalnymi odpowiedziami. Szkolenie RL w tych środowiskach indukuje podstawowe zachowania rozumowania kontrfaktycznego - abdukcję, interwencję i przewidywanie, a w przeciwieństwie do nadzorowanego fine-tuningu, generalizuje poza domeną do nowych struktur kodu i problemów matematycznych. Po stronie sprzętu Amit zaprezentuje interwhen, które kompiluje zasady naturalnego języka na formalne weryfikatory, które certyfikują każdy krok rozumowania agenta w czasie rzeczywistym, zwiększając niezawodność pass^4 modelu open-weight 30B na τ²-bench Telecom z 32% do 87%. Te osie składają się w jeden cykl samoulepszania i stawiają centralne pytanie badawcze dotyczące tego, jak przeprowadzić RL wspólnie z komponentami sprzętu i samoewoluować zarówno model, jak i jego sprzęt. Pre-read: O prelegentach: Amit Sharma buduje laboratorium AI skoncentrowane na cyberbezpieczeństwie i samoulepszających się systemach AI. Spędził ostatnią dekadę w Microsoft Research, gdzie pracował nad rozumowaniem AI i wnioskowaniem przyczynowym. Jego prace doprowadziły do podstawowych wkładów w dziedzinie rozumowania przyczynowego, z zastosowaniami do poprawy generalizacji systemów AI, wyjaśnialności i zdolności rozumowania. Opracował algorytm DiCE do kontrfaktycznego wyjaśniania i metod obalania w celu oceniania szacunków przyczynowych, które są powszechnie stosowane zarówno w nauce, jak i przemyśle. Amit jest również współzałożycielem PyWhy, ekosystemu open-source obejmującego Uniwersytet Carnegie Mellon, Microsoft, Amazon i innych, aby rozwijać skalowalne narzędzia ML dla przyczynowości. Dołącz online: meet.google.com\u002Fonq-amgt-pgz Nie mogę się doczekać, aby cię zobaczyć!