Club de lecture 90/30 : Une infrastructure d'évaluation de la performance full-stack pour les accélérateurs LLM basés sur la 3D-DRAM

Venez nous rejoindre pour une discussion en groupe sur "Une infrastructure d'évaluation de la performance full-stack pour les accélérateurs LLM basés sur la 3D-DRAM". Lien du document : https://arxiv.org/abs/2604.08044. Ce groupe de lecture explorera ATLAS, un cadre validé par silicium pour évaluer les accélérateurs LLM qui empilent le calcul directement sous la 3D DRAM. Le document montre que le décodage plus rapide nécessite plus que de maximiser la bande passante mémoire : la disposition de la mémoire, l'équilibre des calculs, la communication sur puce, le carrelage logiciel et les limites thermiques doivent être co-conçus. Son architecture cloud optimisée atteint des performances de décodage 2,53 fois supérieures et une efficacité énergétique 6,66 fois meilleure que celle d'un NVIDIA H200 sur les charges de travail évaluées. Cela est important car la génération moderne de LLM est de plus en plus contrainte par le déplacement des poids des modèles et des données de cache KV, et une mémoire intégrée 3D pourrait redéfinir de manière significative le matériel d'inférence. Programme de l'événement : 19h-20h : Temps de lecture tranquille, prenez un en-cas et lisez ! (optionnel) 20h-21h : Discussion en groupe sur le document 📝 21h-22h : Nous avons notre espace encore un peu plus longtemps, restez pour socialiser ou établir des contacts ! Notre événement se tient au Mox SF, les généreux donateurs de l'espace où nous allons nous rencontrer.