AI Onderzoeksnacht — Casestudy's in Pretraining

met ElevenLabs, Geodesic Research & PostHog · in de Shoreditch Treehouse Als je eerder een model hebt voorgetraind, weet je dat je gegevens nodig hebt die het waard zijn om van te leren, rekencapaciteit, en een serieus antwoord op "waarom zou je niet gewoon een API aanroepen?" Dit is een avond met drie teams die antwoorden hebben — op verschillende schalen — gevolgd door een open discussie en genoeg canapé's om ons gaande te houden. Presentaties (15 min elk + Q&A) Een GPT voortrainen op een laptop — Angelos Perivolaropoulos, (Onderzoekingenieur bij ElevenLabs) - Welke intuitie van 10M parameters wel (en niet) doorstroomt naar boven. Een encoder vanaf de grond voor sessieherinneringsgegevens — Nico Waltz, (AI Onderzoekingenieur bij PostHog) - Een zelf-geleide encoder die direct op DOM-opnamen is getraind, gebouwd om een video-rasterizer + VLM-pijplijn in productie te vervangen. Alignment voortraining — Cameron Tice (Co-Founder & Executive Director, Geodesic Research) - Lessen uit het trainen van 6.9B-parameter LLM's op 500B tokens over vier verschillende datacondities om te testen hoe AI-discours in voortrainingscorpora alignment beïnvloedt. Voor wie dit is​Actieve PhD-studenten en AI-onderzoekers met praktische ervaring in het toepassen van hun werk — mensen die modellen hebben getraind. Registratie wordt handmatig goedgekeurd. Agenda