sesión de marco: ¿es seguro inferir?

Descripción

seguro para inferir: abierto, cerrado y lo que realmente está en producción un ingeniero de voz se preocupa por el tiempo hasta el primer token. un ingeniero de contenido se preocupa por el costo por salida. la misma palabra, inferencia, matemáticas completamente diferentes detrás de ella. esta es una pequeña tarde técnica para ingenieros e investigadores que realmente están ejecutando sistemas de inferencia en producción. de diez a doce personas, operadores sintiendo las compensaciones día a día, además de investigadores que trabajan en problemas de programación y costo-latencia que pueden conectar lo que estás enfrentando con lo que realmente se está trabajando en este momento. partimos de diferentes métricas de prioridad, latencia, costo, utilización, cómputo, y construimos un marco compartido en vivo a partir de donde los conocimientos nos lleven. sábado, 29 de agosto, 2:30 p.m.