Wdrażanie nowych architektur LLM w produkcji

Nowoczesne architektury LLM szybko się rozwijają, ale przekształcenie nowych pomysłów w niezawodne i wydajne serwowanie w produkcji pozostaje wyzwaniem systemowym. Dołącz do vLLM × Ant Ling na techniczną rozmowę na temat tego, co jest potrzebne, aby wspierać i optymalizować nowe architektury LLM w praktyce. Od abstrakcji czasowych i zarządzania pamięcią po integrację modeli, profilowanie i optymalizację z uwzględnieniem akceleratorów, zbadamy, jak zespoły inżynieryjne przechodzą od początkowego wsparcia architektury do wydajności produkcyjnej w rzeczywistym świecie. Bez względu na to, czy budujesz infrastrukturę do wnioskowania, rozwijasz modele, czy optymalizujesz systemy AI na dużą skalę, ta sesja zaoferuje praktyczne spostrzeżenia na temat wprowadzania architektur LLM nowej generacji do produkcji.