Создание самоулучшающихся AI систем

Поскольку крупные языковые модели применяются в сложных областях, граница смещается от моделей, обученных однажды, к самоулучшающимся системам. Амит разложит самоулучшение на три оси: генерация окружения, обучение с подкреплением и эволюция вспомогательных средств, включая проверки и память. Для первых двух он представит исполняемые контрфакты, фреймворк, который оперативизирует контрфактическое рассуждение как код, позволяя масштабируемую генерацию окружений RL с контролируемой сложностью и проверяемыми ответами. Обучение RL в этих окружениях порождает основные поведения контрфактического рассуждения - абдукцию, интервенцию и предсказание, и, в отличие от супервайзера, обобщается вне домена на новые структуры кода и математические задачи. С точки зрения вспомогательных средств, Амит представит interwhen, который компилирует политики на естественном языке в формальные проверяющие средства, которые сертифицируют каждый шаг рассуждения агента во время выполнения, повышая надежность pass^4 модели с открытыми весами 30B на τ²-bench Telecom с 32% до 87%. Эти оси составляют единый цикл самоулучшения и ставят центральный исследовательский вопрос о том, как выполнять RL совместно с компонентами вспомогательных средств и самоэволюционировать как модель, так и ее вспомогательные средства. Предварительное чтение: О докладчиках: Амит Шарма создает лабораторию AI, сосредоточенную на кибербезопасности и самоулучшающихся AI системах. Он провел последнее десятилетие в Microsoft Research, где работал над AI рассуждением и причинным выводом. Его работа привела к основополагающим вкладам в причинное рассуждение с применениями для повышения обобщаемости, объяснимости и рассуждающих способностей AI систем. Он разработал алгоритм DiCE для контрфактического объяснения и методов опровержения для оценки причинных оценок, которые широко применяются как в академической среде, так и в промышленности. Амит также является соучредителем PyWhy, экосистемы с открытым исходным кодом, включающей Университет Карнеги-Меллона, Microsoft, Amazon и других для продвижения масштабируемых инструментов причинного ML. Присоединяйтесь онлайн: meet.google.com/ С нетерпением ждем встречи с вами!