Група дискусій - тиждень 3 - Чому вирівнювання важко

Третя частина чотириденного циклу дискусій з безпеки ШІ: Тиждень 1 | Чому важлива безпека ШІ · Тиждень 2 | Як можуть виглядати невдачі в масштабах · Тиждень 3 | Чому вирівнювання важко · Тиждень 4 | Що робиться для вирішення цієї проблеми? Кожна сесія є самостійною, тож приєднуйтесь до однієї або всіх. Для кого це: Для всіх, кого цікавить безпека та управління ШІ, незалежно від того, чи є ви новачком у цій темі, здоровим скептиком чи вже глибоко залученим до неї. Технічний досвід не потрібен, і немає потреби брати участь у попередніх тижнях. Вам не потрібно мати відповіді, тільки цікавість. Курс групи дискусій:https://docs.google.com/document/d/160PpLjFN9SaZja0njeKIQHnD-M1Uy4718dNRDyhaucs/edit?usp=sharing Ми можемо навчити системи ШІ бути дуже здатними. Забезпечити, щоб вони робили те, що ми насправді маємо на увазі, що люди називають вирівнюванням, набагато важче. Системи ШІ знаходять лазівки в цілях, які ми їм надаємо. Обманна поведінка може пережити навчання, призначене для її усунення. Тести не завжди надійно кажуть нам, як система буде поводитися в реальному світі. І установи мають труднощі, щоб встигати за змінами. Спираючись на роботи DeepMind з азартних ігор у специфікації, статтю Anthropic «Сплячі агенти» (у якій дослідники навмисно навчали обманну поведінку в моделях, щоб перевірити, чи може навчання безпеці її усунути), та Міжнародний звіт з безпеки ШІ 2026 року, ми дослідимо, звідки походять ці труднощі. Запитання, які ми дослідимо Формат (90 хв): Відкрита дискусія в малих групах та пленарне засідання. Без презентацій і без неправильних запитань. Читання:★ = обов'язкове (~2 години). Інше є необов'язковим. Відвідуючи захід, ви погоджуєтесь на те, що вас можуть знімати на відео або фотографувати, що може бути використано для контенту в соціальних мережах, на веб-сайті та в інформаційних бюлетенях. Якщо ви хочете відвідати захід, але не хочете бути сфотографованими, будь ласка, під час заходу повідомте про це члену нашого персоналу, щоб ми могли це врахувати.