Андрей представляет "Геометрия отказа отражает тренировки отказа"

Геометрия отказа отражает тренировки отказа: разнообразные префиксы отказа могут поднять стабильный ранг и ослабить атаки векторного абляции отказов. Аннотация: Тренировка отказа защищает модели ИИ от взломов, обучая модели отказываться от небезопасных запросов, что снижает риск злоупотреблений. Недавние работы показывают, что поведение отказа в выровненных языковых моделях может регулироваться одним направлением активации или низкоразмерным подпространством отказа, общим для вредоносных подсказок: абляция этих направлений подавляет отказы, в то время как в значительной степени сохраняет другие возможности модели. Однако остается неясным, почему критически важные для безопасности характеристики в широком круге моделей возникают в сосредоточенной, низкоразмерной структуре. В исследовании случая OLMo-2-0425-1B-Instruct мы обнаруживаем, что геометрия отказа отражает тренировки отказа: обновления активации, возникающие в результате потерь первых токенов при завершении отказа, объясняют возникающее направление отказа и подпространство отказа. Мы изучаем направления отказа через динамику обучения по наборам данных отказов и раскрываем, что их хрупкость связана с повторяющимися началами отказов, что, в свою очередь, связано с концентрацией градиентов и характеристик отказа в низкоразмерном подпространстве. В анализах замороженной модели и контролируемом синтетическом тонком настроении мы находим доказательства жесткости: разнообразные начала отказа могут повысить стабильные ранги градиентов и изменения активации, делая отказы труднее удалить с помощью атаки векторной абляции. Статья https://arxiv.org/abs/2608.25390