Club de Lectura 90/30: Una Infraestructura de Evaluación de Rendimiento de Pilas Completa para Aceleradores LLM Basados en 3D-DRAM

Únete a nosotros para una discusión grupal sobre "Una Infraestructura de Evaluación de Rendimiento de Pilas Completa para Aceleradores LLM Basados en 3D-DRAM". Enlace del documento: https://arxiv.org/abs/2604.08044This. Este grupo de lectura explorará ATLAS, un marco validado en silicio para evaluar aceleradores LLM que apilan computación directamente debajo de 3D DRAM. El documento muestra que una decodificación más rápida requiere más que maximizar el ancho de banda de memoria: la disposición de la memoria, el equilibrio de computación, la comunicación en chip, el tiling de software y los límites térmicos deben ser co-diseñados. Su arquitectura cloud optimizada logra un rendimiento de decodificación 2.53× mayor y una eficiencia energética 6.66× mejor que un NVIDIA H200 en las cargas de trabajo evaluadas. Esto es importante porque la generación moderna de LLM está cada vez más restringida por el movimiento de pesos de modelo y datos de KV-cache, y la memoria integrada en 3D podría remodelar sustancialmente el hardware de inferencia. Horario del evento: 7pm-8pm: Tiempo de lectura tranquila, ¡toma un refrigerio y lee! (opcional) 8pm-9pm: Discusión grupal sobre el documento 📝 9pm-10pm: Tenemos nuestro espacio un poco más tiempo, ¡quédate a socializar o hacer networking! Nuestro evento se lleva a cabo en Mox SF, los gentiles donantes del espacio donde nos reuniremos.