
Seguridad de IA Semanal: Alineación desde el Token Cero
Descripción
IMPORTANTE: Esta sesión será más técnica que otras sesiones de la serie.<\/p>
La mayor parte del trabajo de alineación hoy en día ocurre después del preentrenamiento. Un modelo primero aprende de enormes cantidades de texto, adquiriendo todo tipo de comportamientos y voces en el camino, y solo después se entrena para actuar como un asistente útil y inofensivo. Como resultado, los valores de un modelo pueden acabar siendo una capa delgada sobre todo lo que aprendió antes, en lugar de algo profundamente arraigado. Pero, ¿qué pasaría si la alineación comenzara desde el primer token de entrenamiento?<\/p>
En esta sesión temática, V. Moskvoretskii (un estudiante de doctorado de EPFL) presentará su trabajo reciente, Preentrenamiento de Persona Sintética: Alineación desde el Token Cero. En lugar de añadir la persona asistente al final, el Preentrenamiento de Persona Sintética (SPP) la construye desde el principio: los documentos de preentrenamiento están anotados con reflexiones morales en primera persona basadas en una constitución de valores, y el post-entrenamiento luego relaciona la identidad del asistente con esta persona preentrenada. En modelos de hasta 3B de parámetros entrenados en 500B de tokens, SPP mejoró la manera en que los modelos siguen su constitución, los hizo más resistentes a jailbreaks, y redujo elecciones desalineadas en dilemas morales, todo sin afectar las capacidades. El tiempo resulta ser importante: introducir la misma intervención solo al final del preentrenamiento funciona notablemente peor. La técnica también es parte del entrenamiento de Apertus 2, la próxima versión del LLM de código abierto suizo, por lo que esta es una oportunidad para escuchar sobre el trabajo de seguridad que se está realizando en un modelo abierto construido aquí mismo en Suiza.<\/p>
Después de la presentación, abriremos el piso para la discusión. ¿Debería la alineación comenzar en la etapa de preentrenamiento? ¿Qué son las personas en los LLMs y cómo se forman? ¿Cuándo es el mejor momento en el entrenamiento para introducir propiedades deseadas, y realmente puede ser mejor hacerlo antes que después? ¿Y cómo medimos estas diferencias, especialmente en modelos pequeños? También podemos usar la sesión para discutir preguntas sobre la seguridad de la IA de código abierto de manera más amplia.<\/p>
🍕 Se proporcionará comida después de la sesión para redes y discusión adicional.<\/p>
📅 Martes, 17 de noviembre, 18:30–20:00📍 Edificio Principal de ETH, HG D3.3.<\/p>
Se recomienda un conocimiento técnico moderado. Familiaridad básica con cómo se entrenan los modelos de lenguaje grandes (preentrenamiento vs. post-entrenamiento/ajuste fino) es beneficiosa. Se requiere registro.<\/p>
Ubicación del evento
Dile a tu red que vas a ir
Comparte este evento para iniciar conversaciones, invitar colegas y conectar antes de que comience.











