
Тяньї Алекс Цю | Обчислення людських ідеальних преференцій
Опис
Група обчислень Інституту прогнозування
Обчислення ідеальних людських переваг, розрив петель зворотного зв'язку ШІАнотація: Як система штучного інтелекту повинна асистувати людині, чиї переконання та переваги все ще формуються під впливом таких систем ШІ? Класичні підходи, що базуються на навчанні переваг і оберненому підкріплювальному навчанні, часто плутають тимчасові/інструментальні переваги (наприклад, гроші) з стабільними/терміновими (наприклад, благополуччя). Останні є стаціонарними, тоді як перші змінюються з часом. Припускаючи стаціонарність обох, класичні методи мають тенденцію укріплювати тимчасові/інструментальні переконання та переваги людини, які вона в іншому випадку пошкодує. Щоб уникнути цієї проблеми, ми усуваємо припущення про стаціонарність і пропонуємо альтернативну мету навчання ідеальної переваги людини, тобто стану переконань/переваг людини, який є максимально стабільним після достатнього роздумування та під впливом сократичної контрпереконання. Ми показуємо, як ця мета може бути формалізована та обчислена на практиці під час навчання асистентів на основі мовних моделей.
Біографія: Тяньї спільно очолює Prevail, незалежну групу, яка займається епістемічною демпінгом. Вони розробляють втручання для навчання/оцінки (часто із залученням людей) та системні заходи, націлені на моди провалів, такі як блокування довгострокової цінності та забезпечення хороших результатів, таких як моральний/знаннєвий прогрес. Тяньї є дослідником в Oxford HAI Lab, аспірантом 0-го року в Stanford CS і колишнім стипендіатом з безпеки ШІ Anthropic. Дослідницькі проекти, які він очолював, отримали дві нагороди за найкращі статті: одну на ACL'25 та одну на NeurIPS'24 Різноманітному семінарі з вирівнювання. https://tianyiqiu.net/
Група обчислень
Група вчених, інженерів та підприємців у галузі комп'ютерних наук, ML, криптографії та суміжних областях, які використовують ці технології для покращення добровільної співпраці між людьми, а в кінцевому підсумку — ШІ.
Посилання на Zoom: https://us02web.zoom.us/j/81623367983
Розкажіть своїй мережі, що ви йдете
Поділіться цією подією, щоб розпочати розмови, запросити колег та налагодити контакти до її початку.








