
Тижневик безпеки ШІ: Вирівнювання з нульового токена
Опис
ВАЖЛИВО: Ця сесія буде більш технічною, ніж інші сесії в серії.<\/p>
Сьогодні більшість роботи з вирівнювання проходить після попереднього навчання. Модель спочатку навчається на величезних обсягах тексту, усвідомлюючи всілякі поведінки та голоси на цьому шляху, а потім тільки навчиться діяти як корисний, безпечний помічник. В результаті, цінності моделі можуть виявитися тонким шаром поверх усього, що вона навчилася раніше, а не чимось глибоко вкоріненим. Але що, якщо вирівнювання почнеться з самого першого токена навчання? <\/p>
У цій тематичній сесії В. Москворецький (студент докторантури EPFL) представить свою нещодавню роботу, Синтетичне попереднє навчання особи: Вирівнювання з нульового токена. Замість того щоб додавати особу помічника в кінці, Синтетичне попереднє навчання особи (SPP) формує її з самого початку: досудовий навчальний документ аnotовано моральними роздумами від першої особи на основі конституції цінностей, а після навчання зв'язує ідентичність помічника з цією попередньо навченою особою. У моделях з до 3 мільярдів параметрів, навчення на 500 мільярдів токенах, SPP покращило, як добре моделі дотримуються своєї конституції, зробило їх більш стійкими до зламів і зменшило неправильні вибори в моральних дилемах, все це без шкоди для можливостей. Час виявляється важливим: введення тієї ж інтервенції тільки в кінці попереднього навчання працює помітно гірше. Техніка також є частиною навчання Apertus 2, наступної версії швейцарської моделі з відкритим кодом, тому це можливість дізнатися про роботу з безпеки, що входить у відкриту модель, створену прямо тут, у Швейцарії.<\/p>
Після презентації ми відкриємо дискусію. Чи повинно вирівнювання починатись на етапі попереднього навчання? Що таке особи в LLM та як вони формуються? Коли в навчанні настає найкращий час для введення бажаних властивостей, і чи може раніше дійсно бути краще, ніж пізніше? А як ми взагалі вимірюємо ці відмінності, особливо в малих моделях? Ми також можемо скористатися сесією для обговорення питань щодо безпеки відкритого штучного інтелекту в більш широкому сенсі.<\/p>
🍕 Після сесії буде подано їжу для нетворкінгу та подальшого обговорення.<\/p>
📅 Вівторок, 17 листопада, 18:30–20:00📍 Головна будівля ETH, HG D3.3.<\/p>
Рекомендується помірний технічний фон. Базове знайомство з тим, як навчаються великі мовні моделі (попереднє навчання проти навчання після навчання / доопрацювання) буде корисним. Реєстрація є обов'язковою.<\/p>
Місце проведення
Розкажіть своїй мережі, що ви йдете
Поділіться цією подією, щоб розпочати розмови, запросити колег та налагодити контакти до її початку.











