מועדון קריאה 90/30: תשתית להערכת ביצועים כוללת עבור מאיצי LLM מבוססי 3D-DRAM

בואו להצטרף אלינו לדיון קבוצתי על "תשתית להערכת ביצועים כוללת עבור מאיצי LLM מבוססי 3D-DRAM". קישור למאמר: https://arxiv.org/abs/2604.08044This. קבוצת הקריאה תחקור את ATLAS, מסגרת מיועדת לסיליקון להערכת מאיצי LLM שמניחים חישוב ישירות מתחת ל-3D DRAM. המאמר מראה כי פיענוח מהיר יותר דורש יותר מלהגדיל את רוחב הפס של הזיכרון: יש לעצב באופן משולב את פריסת הזיכרון, איזון החישוב, התקשורת על השבב, טיול התוכנה ומגבלות תרמיות. האדריכלות המותאמת לענן שלה משיגה ביצוע פיענוח מהיר יותר ב-2.53× ויעילות אנרגטית טובה יותר ב-6.66× בהשוואה ל-NVIDIA H200 על העומסים המוערכים. זה חשוב משום שדור מאיצי LLM המודרני מוגבל יותר ויותר על ידי העברת משקולות המודל ונתוני KV-cache ושהזיכרון המיועד ב-3D יכול לשנות משמעותית את חומרת ההסקה. לוח זמני האירוע: 19:00-20:00: זמן קריאה שקט, קחו חטיף וקראו! (אופציונלי) 20:00-21:00: דיון קבוצתי על המאמר 📝 21:00-22:00: יש לנו את המרחב שלנו לעוד קצת זמן, הישארו כדי לרשת או לסוציאליזציה! האירוע שלנו מתקיים במוקש SF, התורמים הנדיבים של המרחב שבו ניפגש.