AI Forschungsnacht – Fallstudien im Pretraining

mit ElevenLabs, Geodesic Research & PostHog · im Shoreditch Treehouse Wenn Sie ein Modell vorab trainiert haben, wissen Sie, dass Sie Daten benötigen, die es wert sind, gelernt zu werden, Rechenleistung und eine ernsthafte Antwort auf "Warum nicht einfach eine API aufrufen?" Dies ist ein Abend mit drei Teams, die Antworten haben – auf unterschiedlichen Ebenen – gefolgt von einer offenen Diskussion und vielen Canapés, um uns am Laufen zu halten. Vorträge (je 15 Minuten + Q&A) Pretraining eines GPT auf einem Laptop – Angelos Perivolaropoulos, (Forschungsingenieur bei ElevenLabs) - Welche Intuition von 10M Parametern überträgt sich (und welche nicht) nach oben. Ein von Grund auf neu entwickelter Encoder für Sitzungswiederholungsdaten – Nico Waltz, (AI Forschungsingenieur bei PostHog) - Ein selbstsupervisierter Encoder, der direkt auf DOM-Aufzeichnungen trainiert wurde, entwickelt, um einen Video-Rasterizer + VLM-Pipeline in der Produktion zu ersetzen. Alignment-Pretraining – Cameron Tice (Mitgründer & Geschäftsführer, Geodesic Research) - Lektionen aus dem Training von 6,9B-Parameter LLMs mit 500B Token unter vier verschiedenen Datenbedingungen, um zu testen, wie der AI-Diskurs in Pretraining-Korpora das Alignment beeinflusst. Für wen ist das geeignet​Aktive Doktoranden und AI-Forscher mit praktischer Erfahrung in der Anwendung ihrer Arbeit – Menschen, die Modelle trainiert haben. Die Registrierung erfolgt manuell.