90/30 Club Lezing: Een Full-Stack Prestatie-Evaluatie-infrastructuur voor 3D-DRAM-gebaseerde LLM Accelerators

Kom met ons meedoen voor een groepsdiscussie over "Een Full-Stack Prestatie-Evaluatie-infrastructuur voor 3D-DRAM-gebaseerde LLM Accelerators"Papierlink: https://arxiv.org/abs/2604.08044This leesgroep zal ATLAS verkennen, een siliconen-gevalideerd raamwerk voor het evalueren van LLM-accelerators die rekencapaciteit direct onder 3D DRAM stapelen. Het document toont aan dat snellere decodering meer vereist dan alleen het maximaliseren van de geheugendoorvoer: geheugenschema, rekenbalans, on-chip communicatie, softwareverdeling en thermische limieten moeten gezamenlijk worden ontworpen. De geoptimaliseerde cloudarchitectuur behaalt 2,53× hogere decoderingprestaties en 6,66× betere energie-efficiëntie dan een NVIDIA H200 op de geëvalueerde werkbelastingen. Dit is belangrijk omdat moderne LLM-generatie steeds meer wordt beperkt door het verplaatsen van modelgewichten en KV-cachegegevens en 3D-geïntegreerd geheugen de inferentiehardware aanzienlijk kan herstructureren. Evenementschema: 19:00-20:00: Stille leestijd, pak een snack en lees! (optioneel) 20:00-21:00: Groepsdiscussie over het papier 📝 21:00-22:00: We hebben onze ruimte nog even langer, blijf om te socializen of netwerken! Ons evenement wordt georganiseerd binnen Mox SF, de genereuze donateurs van de ruimte waar we elkaar ontmoeten.