8-я мастерская по нейронному масштабированию на NeurIPS

Присоединяйтесь к нам после NeurIPS на 8-й серии Скалирующих Мастерских, которая началась в октябре 2021 года! Мы предоставляем форум для обсуждения проблем и достижений в масштабировании базовых моделей. Этот семинар, организованный совместно с Cerebras Systems, MBZUAI и CERC в Автономной лаборатории ИИ под руководством Ирины Риш в Университете Монреаля и Mila - Институте ИИ Квебека, сосредоточится как на аспектах разработки, так и на аспектах развертывания моделей большого масштаба. Что ожидать -> Инсайты о тренировке на уровне передовых стандартов от лидеров, продвигающих границы предварительной тренировки, архитектур MoE и открытых базовых моделей. -> Прорывы на уровне систем в распределенной тренировке и реальном времени от таких организаций, как OpenAI, Snowflake, Vector Institute и других. -> Глубокое погружение в оптимизацию моделей — сжатие, тернарные LLM, проектирование с учетом аппаратного обеспечения и стратегии вывода следующего поколения. -> Два высокопрофильных дискуссионных панела с участием ведущих мыслителей, формирующих геополитику и экономику ИИ. -> Вечерние приемы и налаживание контактов с исследователями, экспертами отрасли и основателями. Основные моменты программы Пятница, 5 декабря с 17:00 – Масштабирование тренировки и распределенные системы Волк Кириллов (OpenAI) — GPT-OSS: 128 экспертов на одном GPU Хектор Лю (MBZUAI) — Достижение пределов открытых базовых моделей Марко Чикконе (Vector Institute) — Обучение LLM на публичных суперкомпьютерах Аурик Цяо (Snowflake) — Нарушение соотношения скорость-стоимость в обслуживании LLM Панель (19:00): “Суверенный ИИ: ИИ как геополитическое преимущество”, в которой участвуют: Наталия Васильева, Сара Хукер, Кунв Чой, Рио Ёкота, Хрант Хачатрян Суббота, 6 декабря с 17:00 – Эффективный вывод и оптимизация моделей Дарья Соболева (Cerebras) — MoE 101: Эффективная тренировка и обслуживание Юнян Лин (Qwen/Alibaba) — Глубокое рассмотрение Qwen3 Эрик Сатер (Cerebras) — ML для высокопроизводительного вывода Ирина Риш (UdeM/Mila/42.com) — Исследовательские перспективы по эффективности вывода Аюш Кошал (Nolano AI/Mila) — Законы масштабирования и тернарный вывод LLM Панель (19:00): “ИИ: Покажите мне деньги” с участием: swyx, Дилан Пател, Ирина Риш, Три Дао Суббота, 6 декабря в 20:00 - Закрывающий прием 🍾🥳 Отпразднуйте с участниками и участниками! Веб-сайт семинара: https://sites.google.com/mila.quebec/8th-scaling-workshop/ Полное расписание: https://sites.google.com/mila.quebec/8th-scaling-workshop/schedule Организаторы: Наталия Васильева, Дарья Соболева, Карина Аничкина-Вольф, Алексис Рожер, Ирина Риш Модераторы (сессии и панель): Дарья Соболева