Створення самопокращувальних систем ШІ

Оскільки великі мовні моделі застосовуються у складних сферах, межа змінюється від моделей, що тренуються один раз, до самопокращувальних систем. Аміт розкладатиме самопокращення на три осі: генерація середовища, навчання з підкріпленням та еволюція системи, включаючи перевірки та пам'ять. Для перших двох він представить виконувані контрфакти, структуру, яка перетворює контрфактичне міркування на код, що забезпечує масштабовану генерацію середовищ навчання з підкріпленням із контрольованою складністю та перевіреними відповідями. Навчання з підкріпленням у цих середовищах виробляє основні поведінки контрфактичного міркування - абдукцію, втручання та прогнозування, і, на відміну від суперvised фінішування, узагальнює за межами домену для нових структур коду та математичних завдань. З боку системи, Аміт представить interwhen, який компілює політики природної мови у формальні перевірки, що сертифікують кожен крок міркування агента в режимі виконання, підвищуючи надійність проходження^4 30B моделі з відкритими вагами на τ²-бенч Telecom з 32% до 87%. Ці осі композують в один цикл самопокращення і ставлять центральне дослідницьке питання про те, як проводити навчання з підкріпленням разом з компонентами системи та самостійно еволюціонувати як модель, так і її систему. Попереднє читання: Про спікерів: Аміт Шарма створює лабораторію ШІ, зосереджену на кібербезпеці та самопокращувальних системах ШІ. Він провів останнє десятиліття в Microsoft Research, де працював над міркуванням ШІ та причинно-наслідковим висновком. Його робота призвела до фундаментальних внесків у причинне міркування, з застосуваннями для покращення узагальнення, пояснюваності та здібностей до міркування систем ШІ. Він розробив алгоритм DiCE для контрфактичного пояснення та методів спростування для оцінки причинних оцінок, які широко використовуються як в академії, так і в промисловості. Аміт також є співзасновником PyWhy, екосистеми з відкритим кодом за участю Університету Карнегі Меллон, Microsoft, Amazon та інших для розробки масштабованих інструментів причинного ML. Долучайтеся онлайн: meet.google.com/?onq-amgt-pgz Очікуємо зустрітися з вами!