8. Neural Scaling Workshop @ NeurIPS

Kommen Sie nach NeurIPS zu der 8. Scaling Workshop Reihe, die im Oktober 2021 begann! Wir bieten ein Forum für die Diskussion der Herausforderungen und Fortschritte bei der Skalierung von Fundamentalmustern. Dieser Workshop, co-organisiert von Cerebras Systems, MBZUAI und dem CERC im Autonomous AI Lab unter der Leitung von Irina Rish an der Université de Montréal und Mila - Quebec AI Institute, konzentriert sich sowohl auf Entwicklungs- als auch auf Bereitungsaspekte von groß angelegten Modellen. Was Sie erwarten können -> Erkenntnisse zum Training auf Grenzskala von Führungskräften, die die Grenzen des Pretrainings, der MoE-Architekturen und der offenen Fundamentalmuster verschieben. -> Systemebene Durchbrüche im verteilten Training und in der Echtzeitinferenz von Institutionen wie OpenAI, Snowflake, Vector Institute und mehr. -> Tiefgehende Analysen zur Modelloptimierung — Kompression, ternäre LLMs, hardwarebewusste Gestaltung und Next-Gen-Inferenzstrategien. -> Zwei hochkarätige Diskussionen mit führenden Denkern, die die Geopolitik und Wirtschaft von KI gestalten. -> Abendempfänge und Networking mit Forschern, Branchenexperten und Gründern. Programm Höhepunkte Freitag, 5. Dezember von 17 Uhr – Skalierung von Training & verteilte Systeme Vol Kyrylov (OpenAI) — GPT-OSS: 128 Experten auf einer einzigen GPU Hector Liu (MBZUAI) — Offene Fundamentalmuster bis an die Grenzen treiben Marco Ciccone (Vector Institute) — Training von LLMs über öffentliche Supercomputer Aurick Qiao (Snowflake) — Den Geschwindigkeits-Kosten-Handel in LLM-Diensten brechen Diskussion (19 Uhr): „Souveräne KI: KI als geopolitischer Vorteil“ mit: Natalia Vassilieva, Sara Hooker, Keunwoo Choi, Rio Yokota, Hrant Khachatrian Samstag, 6. Dezember von 17 Uhr – Effiziente Inferenz & Modelloptimierung Daria Soboleva (Cerebras) — MoE 101: Effizientes Training & Bereitstellung Junyang Lin (Qwen/Alibaba) — Tiefgehende Analyse von Qwen3 Eric Sather (Cerebras) — ML für Hochleistungsinferenz Irina Rish (UdeM/Mila/42.com) — Forschungsperspektiven zur Inferenzeffizienz Ayush Kaushal (Nolano AI/Mila) — Skalierungsgesetze & ternäre LLM-Inferenz Diskussion (19 Uhr): „KI: Zeigt mir das Geld“ mit: swyx, Dylan Patel, Irina Rish, Tri Dao Samstag, 6. Dezember um 20 Uhr - Abschlussrezeption 🍾🥳 Feiern Sie mit Sprechern und Teilnehmern! Workshop-Website: https://sites.google.com/mila.quebec/8th-scaling-workshop/ Vollständiger Zeitplan: https://sites.google.com/mila.quebec/8th-scaling-workshop/schedule Organisatoren: Natalia Vassilieva, Daria Soboleva, Karina Anichkina-Wolf, Alexis Roger, Irina Rish Moderatoren (Sitzungen und Diskussionsrunden): Daria Soboleva