Déployer de nouvelles architectures LLM en production

Les architectures LLM modernes évoluent rapidement, mais transformer de nouvelles idées en services de production fiables et performants reste un défi systémique.Rejoignez vLLM × Ant Ling pour une conversation technique sur ce qu'il faut pour soutenir et optimiser les architectures LLM émergentes en pratique. Des abstractions d'exécution et de gestion de la mémoire à l'intégration de modèles, au profilage et à l'optimisation consciente des accélérateurs, nous explorerons comment les équipes d'ingénierie passent du soutien initial à l'architecture à des performances en production dans le monde réel.Que vous construisiez une infrastructure d'inférence, développiez des modèles ou optimisiez des systèmes d'IA à grande échelle, cette session offrira des informations pratiques sur la mise en production des architectures LLM de nouvelle génération.