
AI Veiligheid Wekelijks: Afstemming vanaf Token Zero
Beschrijving
BELANGRIJK: Deze sessie zal technischer zijn dan andere sessies in de serie.<\/p>
Het merendeel van het afstemmingswerk gebeurt vandaag de dag na de pretraining. Een model leert eerst van enorme hoeveelheden tekst, waarbij het allerlei gedragingen en stemmen oppikt, en pas daarna wordt het getraind om als een behulpzame, onschadelijke assistent te functioneren. Het gevolg is dat de waarden van een model als een dunne laag bovenop alles wat het eerder leerde kunnen eindigen, in plaats van als iets dat diep verankerd is. Maar wat als afstemming vanaf de allereerste token van de training begon? <\/p>
In deze themasessie zal V. Moskvoretskii (een PHD-student van de EPFL) zijn recente werk presenteren, Synthetic Persona Pretraining: Afstemming vanaf Token Zero. In plaats van de assistent persona pas aan het einde toe te voegen, bouwt Synthetic Persona Pretraining (SPP) het vanaf het begin in: de pretraining-documenten worden geannoteerd met eerste-persoon morele reflecties op basis van een waardeconstitutie, en post-training koppelt dan de assistent identiteit aan deze voorgetrainde persona. In modellen tot 3B parameters, getraind op 500B tokens, verbeterde SPP hoe goed modellen hun constitutie volgen, maakte ze robuuster tegen jailbreaks, en verminderde niet-gestemde keuzes in morele dilemma's, allemaal zonder de mogelijkheden te schaden. Timing blijkt van belang te zijn: dezelfde interventie alleen aan het einde van de pretraining introduceren werkt merkbaar slechter. De techniek maakt ook deel uit van de training van Apertus 2, de volgende versie van het Zwitserse open-source LLM, dus dit is een kans om te horen over veiligheidswerk dat in een open model gaat dat hier in Zwitserland is gebouwd.<\/p>
Na de presentatie openen we de vloer voor discussie. Moet afstemming beginnen in de pretrainingfase? Wat zijn persona's in LLM's en hoe vormen ze zich? Wanneer in de training is de beste tijd om gewenste eigenschappen in te voeren, en kan het eerder echt beter zijn dan later? En hoe meten we deze verschillen, vooral in kleine modellen? We kunnen de sessie ook gebruiken om vragen over open-source AI-veiligheid breder te bespreken.<\/p>
🍕 Eten wordt na de sessie verzorgd voor netwerken en verdere discussie.<\/p>
📅 Dinsdag, 17 november, 18:30–20:00📍 ETH Hoofgebouw, HG D3.3.<\/p>
Een gemiddelde technische achtergrond wordt aanbevolen. Basiskennis over hoe grote taalmodellen worden getraind (pretraining vs. post-training/fine-tuning) is nuttig. Registratie is vereist.<\/p>
Locatie evenement
Laat je netwerk weten dat je komt
Deel dit evenement om gesprekken te starten, collega`s uit te nodigen en van tevoren contact te leggen.











