Enviar evento
Segurança em IA Semanal: Alinhamento do Token Zero

Segurança em IA Semanal: Alinhamento do Token Zero

17 nov 202618:30 - 20:00 Europe/ZurichZürich, Switzerland75 ParticipantesOpen

Descrição

IMPORTANTE: Esta sessão será mais técnica do que as outras sessões da série.<\/p>

A maior parte do trabalho de alinhamento hoje acontece após o pré-treinamento. Um modelo primeiro aprende com enormes quantidades de texto, adquirindo todo tipo de comportamentos e vozes ao longo do caminho, e só depois é treinado para agir como um assistente útil e inofensivo. Como resultado, os valores de um modelo podem acabar sendo uma camada fina sobre tudo o que aprendeu antes, em vez de algo profundamente enraizado. Mas e se o alinhamento começasse desde o primeiro token de treinamento?<\/p>

Nesta sessão temática, V. Moskvoretskii (um estudante de doutorado da EPFL) apresentará seu trabalho recente, Pré-Treinamento de Persona Sintética: Alinhamento do Token Zero. Em vez de adicionar a persona do assistente no final, o Pré-Treinamento de Persona Sintética (SPP) a constrói desde o início: documentos de pré-treinamento são anotados com reflexões morais em primeira pessoa com base em uma constituição de valores, e o pós-treinamento então conecta a identidade do assistente a essa persona pré-treinada. Em modelos de até 3B de parâmetros treinados em 500B de tokens, o SPP melhorou como os modelos seguem sua constituição, tornou-os mais robustos a jailbreaks e reduziu escolhas desalinhadas em dilemas morais, tudo sem prejudicar suas capacidades. O tempo acaba sendo importante: introduzir a mesma intervenção apenas ao final do pré-treinamento funciona visivelmente pior. A técnica também faz parte do treinamento do Apertus 2, a próxima versão do LLM de código aberto suíço, então esta é uma oportunidade para ouvir sobre o trabalho de segurança que está sendo incorporado a um modelo aberto construído bem aqui na Suíça.<\/p>

Após a apresentação, abriremos a discussão. O alinhamento deve começar na fase de pré-treinamento? Quais são as personas em LLMs e como elas se formam? Quando é o melhor momento no treinamento para introduzir propriedades desejadas, e será que mais cedo realmente pode ser melhor do que mais tarde? E como medimos essas diferenças, especialmente em modelos pequenos? Podemos também usar a sessão para discutir questões sobre segurança de IA de código aberto de forma mais ampla.<\/p>

🍕 Comida será fornecida após a sessão para networking e discussões adicionais.<\/p>

📅 Terça-feira, 17 de Novembro, 18:30–20:00📍 Prédio Principal da ETH, HG D3.3.<\/p>

Um conhecimento técnico moderado é recomendado. Familiaridade básica com como os grandes modelos de linguagem são treinados (pré-treinamento vs. pós-treinamento / ajuste fino) é benéfica. A inscrição é necessária.<\/p>

Localização do evento

Diga à sua rede que vai participar

Partilhe este evento para iniciar conversas, convidar colegas e conectar-se antes que comece.

Eventos relacionados

Plataforma de inteligência artificial