Reasoning Traces by Together Fund

Продовжуючи нашу серію дослідницьких салонів. Reasoning Traces - це вечір Together для глибокого вивчення однієї ідеї в невеликій кімнаті з людьми, які насправді її будують і досліджують. ЧОМУ АЛІГНМЕНТ, ЧОМУ ЗАРАЗ? Алігнмент – це проблема змусити системи ШІ насправді робити те, що ми маємо на увазі, – не лише те, що ми запитали. У міру зростання можливостей моделей, розрив між "здатним" і "вірним" стає найважливішою відкритою проблемою у цій сфері. Сфера кристалізувалася навколо чотирьох цілей — Стійкість, Інтерпретуємість, Контрольованість, Етичність (RICE) — і поділилася на два великі фронти: передній алігнмент (навчання систем, щоб вони були вірні — RLHF, моделювання вподобань, масштабоване нагляд за завданнями, які люди не можуть легко контролювати) і задній алігнмент (доказ, що вони насправді такі — оцінки безпеки, інтерпретуємість, управління). Справжнє питання тепер на столі: коли моделі починають виконувати завдання, які ми не можемо ефективно контролювати, чи масштабує алігнмент з можливостями — чи тихо відстає від них? ХТО БУДЕ У КІМНАТІ Дослідники, які працюють над алігнментом, інтерпретуємістю та оцінками Засновники, які будують з фронтовими моделями, що щодня зіткнені з цими компромісами Найрозумніші інженери, які думають про нагляд, тестування на червоній команді та безпеку Кожен, кого дійсно цікавить, як ми можемо утримувати здатні системи на правильному шляху Посилання на відповідні матеріали для попереднього читання - https://arxiv.org/abs/2310.19852 ЯК ПРОХОДИТЬ ВЕЧІР Спочатку ми формулюємо тему. Потім той, хто глибше за все в темі, задає тон - що є реальним, що вони бачать, відкриті питання. Після цього дискусія відкривається: ви стрибаєте, заперечуєте, розвиваєте. Це обговорення, а не лекція. Вільно за дизайном; хороші речі відбуваються, коли кімната думає разом, а не коли хтось читає з трибуни. Ми маємо обмежену кількість місць, щоб забезпечити багатий обмін думками, тому RSVP заздалегідь!