8-ма майстерня нейронного масштабування @ NeurIPS

Приєднуйтесь до нас після NeurIPS на 8-й серії воркшопів зі.scaling, які розпочались у жовтні 2021 року! Ми забезпечуємо форум для обговорення викликів та досягнень у масштабуванні основних моделей. Цей воркшоп, спільно організований Cerebras Systems, MBZUAI та CERC у лабораторії автономного ШІ, яку очолює Ірина Ріш в Університеті Монреаля та Mila - Інституті ШІ Квебеку, зосередиться як на аспектах розробки, так і на впровадженні масштабних моделей. Що очікувати -> Інсайти щодо навчання на фронтовому рівні від лідерів, які розширюють межі попереднього навчання, архітектур MoE та відкритих основних моделей.-> Прориви на системному рівні в розподіленому навчанні та реальному інформуванні від таких установ, як OpenAI, Snowflake, Vector Institute та інших.-> Глибокі занурення в оптимізацію моделей — компресія, тернарні LLM, апаратно-орієнтований дизайн та стратегії наступного покоління інформування.-> Два високопрофільні панелі з участю провідних мислителів, які формують геополітику та економіку ШІ.-> Вечірні прийоми та нетворкінг з дослідниками, експертами галузі та засновниками. Основні моменти програми П’ятниця, 5 грудня з 17:00 – Масштабування навчання та розподілені системи Вол Кири́лов (OpenAI) — GPT-OSS: 128 експертів на одному GPUГектор Лю (MBZUAI) — Витягування відкритих основних моделей до межіМарко Чіконе (Vector Institute) — Навчання LLM на публічних суперкомп'ютерахАврик Цяо (Snowflake) — Порушення компромісу між швидкістю та вартістю в обслуговуванні LLM Панель (19:00): “Суверенний ШІ: ШІ як геополітична перевага” за участю: Наталія Василієва, Сара Хукер, Кунву Чой, Ріо Йокота, Грант Хачатрян Субота, 6 грудня з 17:00 – Ефективне інформування та оптимізація моделей Дарина Соболєва (Cerebras) — MoE 101: Ефективне навчання та обслуговуванняЦзюнян Лін (Qwen/Alibaba) — Глибоке занурення в Qwen3Ерік Сатер (Cerebras) — ML для високопродуктивного інформуванняІрина Ріш (UdeM/Mila/42.com) — Наукові погляди на ефективність інформуванняАюш Каушал (Nolano AI/Mila) — Закони масштабування та тернарне інформування LLM Панель (19:00): “ШІ: Покажіть мені гроші” за участю: swyx, Ділан Пател, Ірина Ріш, Трі Дао Субота, 6 грудня о 20:00 - Заключний прийом 🍾🥳 Святкуйте разом з доповідачами та учасниками! Вебсайт воркшопу: https://sites.google.com/mila.quebec/8th-scaling-workshop/Повний розклад: https://sites.google.com/mila.quebec/8th-scaling-workshop/scheduleОрганізатори: Наталія Василієва, Дарина Соболєва, Каріна Анічкіна-Вольф, Алексіс Рожер, Ірина РішМодератори (сесії та панель): Дарина Соболєва