90/30 Club Reading: Полноценная инфраструктура оценки производительности для ускорителей LLM на основе 3D-DRAM

Приходите на групповое обсуждение статьи "Полноценная инфраструктура оценки производительности для ускорителей LLM на основе 3D-DRAM". Ссылка на статью: https://arxiv.org/abs/2604.08044. В этой группе чтения будет исследоваться ATLAS, измеренная на кремнии структура для оценки ускорителей LLM, которые располагают вычисления прямо под 3D DRAM. Статья показывает, что более быстрое декодирование требует больше, чем максимизация пропускной способности памяти: необходимо совместное проектирование расположения памяти, баланса вычислений, связи на чипе, программной(tile) разбивки и термических ограничений. Его оптимизированная облачная архитектура достигает в 2,53 раза более высокой производительности декодирования и в 6,66 раз лучшей энергетической эффективности, чем NVIDIA H200 для оцененных рабочих нагрузок. Это важно, потому что современное поколение LLM в значительной мере ограничено перемещением весов модели и данными KV-кэша, и 3D-интегрированная память может существенно изменить оборудование для вывода. Расписание мероприятия: 19:00-20:00: Тихое время для чтения, перекусите и почитайте! (по желанию) 20:00-21:00: Групповое обсуждение статьи 📝 21:00-22:00: У нас есть наше пространство еще немного времени, оставайтесь пообщаться или завести знакомства! Наше мероприятие проходит в Mox SF, щедрых спонсоров пространства, где мы встретились.