8ª Oficina de Escalonamento Neural @ NeurIPS

Junte-se a nós após o NeurIPS para a 8ª série de Workshops sobre Escalonamento que começou em outubro de 2021! Fornecemos um fórum para discutir os desafios e avanços no escalonamento de modelos fundamentais. Este workshop, organizado em conjunto pela Cerebras Systems, MBZUAI e o CERC no Laboratório de AI Autônoma liderado por Irina Rish na Université de Montréal e Mila - Instituto de AI de Quebec, se concentrará em aspectos tanto de desenvolvimento quanto de implementação de modelos em larga escala. O que Esperar -> Insights de treinamento em escala de fronteira de líderes que estão expandindo os limites do pré-treinamento, arquiteturas MoE e modelos de fundação abertos. -> Avanços em nível de sistemas em treinamento distribuído e inferência em tempo real de instituições como OpenAI, Snowflake, Vector Institute e mais. -> Análises detalhadas na otimização de modelos — compressão, LLMs ternários, design consciente de hardware e estratégias de inferência de próxima geração. -> Dois painéis de alto perfil com os principais pensadores moldando a geopolítica e a economia da IA. -> Recepção noturna e networking com pesquisadores, especialistas da indústria e fundadores. Destaques do Programa Sexta-feira, 5 de dezembro, das 17h – Treinamento de Escala e Sistemas Distribuídos Vol Kyrylov (OpenAI) — GPT-OSS: 128 especialistas em uma única GPU Hector Liu (MBZUAI) — Levando modelos de fundação abertos ao limite Marco Ciccone (Vector Institute) — Treinamento de LLMs em supercomputadores públicos Aurick Qiao (Snowflake) — Quebrando a troca velocidade-custo na oferta de LLM Painel (19h): “IA Soberana: IA como Vantagem Geopolítica” com: Natalia Vassilieva, Sara Hooker, Keunwoo Choi, Rio Yokota, Hrant Khachatrian Sábado, 6 de dezembro, das 17h – Inferência Eficiente e Otimização de Modelos Daria Soboleva (Cerebras) — MoE 101: Treinamento e oferta eficientes Junyang Lin (Qwen/Alibaba) — Análise aprofundada no Qwen3 Eric Sather (Cerebras) — ML para inferência de alto desempenho Irina Rish (UdeM/Mila/42.com) — Perspectivas de pesquisa sobre eficiência de inferência Ayush Kaushal (Nolano AI/Mila) — Leis de escalonamento e inferência de LLM ternário Painel (19h): “IA: Mostre-me o Dinheiro” Com: swyx, Dylan Patel, Irina Rish, Tri Dao Sábado, 6 de dezembro, às 20h - Recepção de Encerramento 🍾🥳 Celebre com palestrantes e participantes! Site do workshop: https://sites.google.com/mila.quebec/8th-scaling-workshop/ Agenda Completa: https://sites.google.com/mila.quebec/8th-scaling-workshop/schedule Organizadores: Natalia Vassilieva, Daria Soboleva, Karina Anichkina-Wolf, Alexis Roger, Irina Rish Moderadores (sessões e painel): Daria Soboleva