8. Warsztaty dotyczące skalowania neuronowego @ NeurIPS

Dołącz do nas po NeurIPS na 8. cykl warsztatów Scaling, który rozpoczął się w październiku 2021 roku! Zapewniamy forum do omawiania wyzwań i postępów w skalowaniu modeli podstawowych. Warsztat, współorganizowany przez Cerebras Systems, MBZUAI oraz CERC w Autonomicznym Laboratorium AI, którym kieruje Irina Rish na Universite de Montreal i Mila - Quebec AI Institute, skoncentruje się zarówno na aspektach rozwoju, jak i wdrażania dużych modeli. Czego się spodziewać -> Wglądy w szkolenie na skalę frontier od liderów przesuwających granice wstępnego treningu, architektur MoE i otwartych modeli podstawowych. -> Przełomy na poziomie systemów w zdalnym szkoleniu i wnioskowaniu w czasie rzeczywistym z instytucji takich jak OpenAI, Snowflake, Vector Institute i innych. -> Dogłębne analizy optymalizacji modeli — kompresja, ternarne LLM, projektowanie uwzględniające sprzęt i strategie wnioskowania nowej generacji. -> Dwie ważne panele z udziałem czołowych myślicieli kształtujących geopolitykę i ekonomię AI. -> Wieczorne recepcje i networking z badaczami, ekspertami branżowymi i założycielami. Najważniejsze punkty programu Piątek, 5 grudnia od 17:00 – Skalowanie treningu i systemów rozproszonych Vol Kyrylov (OpenAI) — GPT-OSS: 128 ekspertów na jednym GPU Hector Liu (MBZUAI) — Przeciąganie otwartych modeli podstawowych do granic możliwości Marco Ciccone (Vector Institute) — Szkolenie LLM na publicznych superkomputerach Aurick Qiao (Snowflake) — Łamanie kompromisu między szybkością a kosztami w serwowaniu LLM Panel (19:00): “Suwerenna AI: AI jako przewaga geopolityczna” z udziałem: Natalia Vassilieva, Sara Hooker, Keunwoo Choi, Rio Yokota, Hrant Khachatrian Sobota, 6 grudnia od 17:00 – Efektywne wnioskowanie i optymalizacja modeli Daria Soboleva (Cerebras) — MoE 101: Efektywne szkolenie i serwowanie Junyang Lin (Qwen/Alibaba) — Dogłębna analiza Qwen3 Eric Sather (Cerebras) — ML dla wnioskowania o wysokiej wydajności Irina Rish (UdeM/Mila/42.com) — Perspektywy badawcze na temat efektywności wnioskowania Ayush Kaushal (Nolano AI/Mila) — Prawa skalowania i wnioskowanie ternarnych LLM Panel (19:00): “AI: Pokaż mi pieniądze” z udziałem: swyx, Dylan Patel, Irina Rish, Tri Dao Sobota, 6 grudnia o 20:00 - Zamknięcie recepcji 🍾🥳 Świętuj z mówcami i uczestnikami! Strona warsztatów: https://sites.google.com/mila.quebec/8th-scaling-workshop/ Pełny harmonogram: https://sites.google.com/mila.quebec/8th-scaling-workshop/schedule Organizatorzy: Natalia Vassilieva, Daria Soboleva, Karina Anichkina-Wolf, Alexis Roger, Irina Rish Moderatorzy (sesje i panel): Daria Soboleva