#39 - Оптимізація моделей та інференс на основі CPU

Ура!!! Мітинг #39 відбудеться 24 вересня в AI Sweden і буде присвячений "Оптимізації моделей та інференсу на основі CPU". Ми дуже раді співпрацювати з іспанськими магами квантового ШІ Multiverse Computing та технічними гігантами Intel і HPE. Програма зараз розробляється, тож стежте за оновленнями! У сфері оптимізації моделей та інференсу відбувається безліч подій. Нові підходи до обох напрямків, здається, анонсуються щодня, такі як можливість запуску нещодавно випущеної моделі з 2,78 трильйона параметрів Kimi K3 на одному CPU з 8 ГБ пам'яті...!!! або оголошення Multiverse Computing від 23 липня, що всі їхні стиснені моделі тепер працюють на процесорах Intel Xeon 6. Тож пристебніться та готуйтеся до удару! Програма події: - Двері відкриваються о 17:00 CET - Доповіді починаються о 17:45 CET - Будуть піца та напої - Можливо, буде модераційна сесія запитань та відповідей.... Склад доповідачів TBD... - Франко Серра, архітектор рішень у Multiverse Computing, виступить з доповіддю під назвою "Ультра ефективні моделі для масштабування вашого GenAI дата-центру та придатні для розгортання на краю". Анотація: Оскільки організації поспішають впроваджувати генеративний ШІ, дві проблеми домінують: як економічно масштабувати інференс у дата-центрі та як принести інтелект на край, де обмежені зв'язок, потужність та площа. Multiverse Computing створює ультра-ефективні, стиснуті моделі ШІ, включаючи LLM, VLM, моделі розпізнавання мови та комп'ютерного зору — розроблені для забезпечення такої ж точності з меншими вимогами до пам'яті. Інтегруючись з апаратним забезпеченням Intel®, підприємства можуть впроваджувати більші моделі ШІ на існуючій інфраструктурі, не розширюючи її. У дата-центрі більш компактні моделі безпосередньо перетворюються на вищу пропускну здатність, менше споживання енергії та покращений ROI, дозволяючи більше користувачів і навантажень працювати на тій же інфраструктурі. На краю ті ж прориви в стисненні роблять можливим впровадження GenAI в обмежених середовищах — забезпечуючи безпечний, з низькою затримкою ШІ для тактичних середовищ. - Томас Мельцер, старший архітектор рішень в Intel, виступить з доповіддю про відновлення актуальності CPU для інференсу.... - Йохан Фондин, архітектор рішень в HPE, виступить з доповіддю про динаміку зберігання, потокового відео та пам'яті... Чекаємо вас там, /Патрік та команда Stockholm MLOps