Andrey presenteert "Weigeringsgeometrie weerspiegelt weigerings-training"

Weigeringsgeometrie weerspiegelt weigerings-training: diverse weigeringsprefixen kunnen stabiele rang verhogen en weigeringsvector ablatie-aanvallen verzwakken Abstract Weigerings-training beschermt AI-modellen tegen jailbreaks door modellen te trainen om onveilige verzoeken te weigeren, waardoor het risico op misbruik vermindert. Recent werk toont aan dat weigeringsgedrag in afgestemde taalmodellen gemedieerd kan worden door een enkele activatierichting of een laagdimensionale weigeringssubruimte die gedeeld wordt over schadelijke prompts: het ablieren van die richtingen onderdrukt weigeringen terwijl het grotendeels andere modelcapaciteiten behoudt. Toch blijft het onduidelijk waarom veiligheid-kritische kenmerken in een breed scala aan modellen opkomen in een geconcentreerde, laagdimensionale structuur. In een casestudy van OLMo-2-0425-1B-Instruct ontdekken we dat de weigeringsgeometrie de weigerings-training weerspiegelt: activatie-updates die voortkomen uit verliezen van de eerste-token van weigeringsvoltoeiingen verklaren de resulterende weigeringsrichting en weigeringssubruimte. We bestuderen weigeringsrichtingen door de trainingsdynamiek over weigeringsdatasets en onthullen dat hun breekbaarheid geassocieerd is met repetitieve weigeringsstarts, die op hun beurt zijn gekoppeld aan de concentratie van gradients en weigeringskenmerken in een laagdimensionele subruimte. Door middel van analyses van bevroren modellen en gecontroleerde synthetische fine-tuning vinden we bewijs van een verhardingshefboom: diverse weigeringsstarts kunnen stabiele rangen van gradients en activatieveranderingen verhogen, waardoor het moeilijker wordt om weigeringen te verwijderen met een vector ablatie-aanval. Papier https://arxiv.org/abs/2608.25390