Выпуск новых архитектур LLM в производство

Современные архитектуры LLM быстро развиваются, но превращение новых идей в надежное высокопроизводительное производство остается системной задачей.Присоединяйтесь к vLLM × Ant Ling для технической беседы о том, что необходимо для поддержки и оптимизации новых архитектур LLM на практике. Мы рассмотрим абстракции времени выполнения, управление памятью, интеграцию моделей, профилирование и оптимизацию с учетом ускорителей, исследуя, как инженерные команды переходят от начальной поддержки архитектуры к производительности в реальном мире.Независимо от того, создаете ли вы инфраструктуру вывода, разрабатываете модели или оптимизируете AI-системы в масштабах, эта сессия предложит практические идеи о том, как внедрить архитектуры LLM следующего поколения в производство.