
Wöchentliche KI-Sicherheit: Ausrichtung ab Token Null
Beschreibung
WICHTIG: Diese Sitzung wird technischer sein als andere Sitzungen der Reihe.<\/p>
Die meisten Ausrichtungsarbeiten finden heute nach dem Pretraining statt. Ein Modell lernt zuerst aus riesigen Textmengen, nimmt alle Arten von Verhaltensweisen und Stimmen auf und wird erst danach darauf trainiert, als hilfreicher, harmloser Assistent zu handeln. Infolgedessen können die Werte eines Modells als eine dünne Schicht über allem erscheinen, was es zuvor gelernt hat, anstatt etwas tief Verwurzeltes zu sein. Aber was wäre, wenn die Ausrichtung bereits ab dem ersten Token des Trainings starten würde?<\/p>
In dieser thematischen Sitzung wird V. Moskvoretskii (ein Doktorand der EPFL) seine aktuelle Arbeit, Synthetic Persona Pretraining: Ausrichtung ab Token Null, vorstellen. Anstatt die Assistentenpersona am Ende hinzuzufügen, wird bei Synthetic Persona Pretraining (SPP) diese von Anfang an integriert: Die Pretraining-Dokumente werden mit moralischen Reflexionen in der ersten Person, basierend auf einer Werteverfassung, annotiert, und das Post-Training verbindet dann die Identität des Assistenten mit dieser vortrainierten Persona. In Modellen mit bis zu 3B Parametern, die auf 500B Tokens trainiert wurden, verbesserte SPP die Einhaltung ihrer Verfassung, machte sie robuster gegen Jailbreaks und reduzierte fehlgeleitete Entscheidungen in moralischen Dilemmas, ohne dabei die Fähigkeiten zu beeinträchtigen. Der Zeitpunkt stellt sich als entscheidend heraus: die gleiche Intervention nur am Ende des Pretrainings einzuführen, funktioniert merklich schlechter. Diese Technik ist auch Teil des Trainings von Apertus 2, der nächsten Version des Schweizer Open-Source-LLM, also ist dies eine Gelegenheit, von den Sicherheitsarbeiten zu hören, die in ein offenes Modell fließen, das hier in der Schweiz entwickelt wurde.<\/p>
Nach der Präsentation eröffnen wir die Diskussion. Sollte die Ausrichtung in der Pretraining-Phase beginnen? Was sind Personas in LLMs, und wie entstehen sie? Wann im Training ist der beste Zeitpunkt, um gewünschte Eigenschaften einzuführen, und kann früher wirklich besser sein als später? Und wie messen wir diese Unterschiede, besonders bei kleinen Modellen? Wir können die Sitzung auch nutzen, um Fragen zur Sicherheit von Open-Source-KI umfassender zu diskutieren.<\/p>
🍕 Nach der Sitzung wird Essen bereitgestellt, um Networking und weitere Diskussionen zu ermöglichen.<\/p>
📅 Dienstag, 17. November, 18:30–20:00📍 ETH Hauptgebäude, HG D3.3.<\/p>
Ein moderates technisches Hintergrundwissen wird empfohlen. Grundkenntnisse darüber, wie große Sprachmodelle trainiert werden (Pretraining vs. Post-Training/Fine-Tuning), sind von Vorteil. Eine Registrierung ist erforderlich.<\/p>
Veranstaltungsort
Lassen Sie Ihr Netzwerk wissen, dass Sie dabei sind
Teilen Sie diese Veranstaltung, um Gespräche zu beginnen, Kollegen einzuladen und sich vorab zu vernetzen.











