Nieuwe LLM-architecturen in productie serveren

Moderne LLM-architecturen evolueren snel, maar het omzetten van nieuwe ideeën in betrouwbare, hoogwaardige productie servering blijft een systeemuitdaging. Sluit je aan bij vLLM × Ant Ling voor een technische conversatie over wat erbij komt kijken om opkomende LLM-architecturen in de praktijk te ondersteunen en te optimaliseren. Van runtime abstracties en geheugbeheer tot modelintegratie, profilering en optimalisatie rekening houdend met versnellers, zullen we verkennen hoe engineeringteams van initiële architectuursupport naar echte productieprestaties gaan. Of je nu inferentie-infrastructuur bouwt, modellen ontwikkelt of AI-systemen op schaal optimaliseert, deze sessie biedt praktische inzichten in het in productie brengen van next-generation LLM-architecturen.