Andrey présente "La géométrie du refus reflète l'entraînement au refus"

La géométrie du refus reflète l'entraînement au refus : des préfixes de refus divers peuvent augmenter le rang stable et affaiblir les attaques par ablation du vecteur de refus. Résumé : L'entraînement au refus protège les modèles d'IA contre les jailbreaks en les formant à décliner les requêtes dangereuses, réduisant ainsi le risque d'utilisation abusive. Des travaux récents montrent que le comportement de refus dans les modèles de langage alignés peut être médié par une seule direction d'activation ou un sous-espace de refus de faible dimension partagé à travers des incitations nuisibles : l'ablation de ces directions supprime les refus tout en préservant largement d'autres capacités du modèle. Pourtant, il reste incertain pourquoi des caractéristiques critiques pour la sécurité dans une large gamme de modèles émergent dans une structure concentrée et de faible dimension. Dans une étude de cas sur OLMo-2-0425-1B-Instruct, nous constatons que la géométrie du refus reflète l'entraînement au refus : les mises à jour d'activation résultant des pertes du premier token de la complétion de refus expliquent la direction de refus et le sous-espace de refus qui en résultent. Nous étudions les directions de refus à travers la dynamique d'entraînement à travers des ensembles de données de refus et révélons que leur fragilité est associée à des débuts de refus répétitifs, qui à leur tour sont liés à la concentration des gradients et des caractéristiques de refus dans un sous-espace de faible dimension. À travers des analyses de modèles gelés et un affinement synthétique contrôlé, nous trouvons des preuves d'un levier de durcissement : des débuts de refus divers peuvent augmenter les rangs stables des gradients et des changements d'activation, rendant les refus plus difficiles à éliminer par une attaque par ablation de vecteur. Papier https://arxiv.org/abs/2608.25390