Встреча Trivalley - ComplianceAware Файн-тюнинг

Файн-тюнинг делает модель лучше в задаче. Он также может ухудшить выполнение правил.Эта сессия показывает, как стандартный контролируемый фин-тюнинг тихо разрушает безопасность,которую модель усвоила на этапе предварительного обучения, затем демонстрирует Compliance-Aware Fine-Tuning(CAFT), который делает соблюдение жестким ограничением внутри обучающей цели, а не фильтром сверху.Заканчивается живой тетрадью, которая файн-тюнингует модель и измеряетсдвиг соблюдения по мере его возникновения.