Andrey presenta "La geometría del rechazo refleja el entrenamiento de rechazo"

La geometría del rechazo refleja el entrenamiento de rechazo: diversos prefijos de rechazo pueden aumentar el rango estable y debilitar los ataques de ablación del vector de rechazo. Resumen: El entrenamiento de rechazo protege a los modelos de IA de jailbreaks al entrenar a los modelos para que declinen consultas inseguras, reduciendo el riesgo de uso indebido. Trabajos recientes encuentran que el comportamiento de rechazo en modelos de lenguaje alineados puede ser mediado por una única dirección de activación o un subespacio de rechazo de baja dimensión compartido a través de prompts dañinos: la ablación de esas direcciones suprime los rechazos mientras que preserva en gran medida otras capacidades del modelo. Sin embargo, sigue sin estar claro por qué las características críticas de seguridad en una amplia gama de modelos emergen en una estructura concentrada y de baja dimensión. En un estudio de caso de OLMo-2-0425-1B-Instruct encontramos que la geometría del rechazo refleja el entrenamiento de rechazo: las actualizaciones de activación resultantes de las pérdidas de la primera token de finalización de rechazo explican la dirección de rechazo resultante y el subespacio de rechazo. Estudiamos las direcciones de rechazo a través de la dinámica de entrenamiento en conjuntos de datos de rechazo y revelamos que su fragilidad está asociada con inicios de rechazo repetitivos, que a su vez están vinculados a la concentración de gradientes y características de rechazo en un subespacio de baja dimensión. A través de análisis de modelos congelados y un ajuste fino sintético controlado, encontramos evidencia de una palanca de endurecimiento: diversos inicios de rechazo pueden aumentar los rangos estables de gradientes y cambios de activación, haciendo que los rechazos sean más difíciles de eliminar con un ataque de ablación de vector. Paper https://arxiv.org/abs/2608.25390