Evaluando Agentes en Datos de Gateway en Vivo

Evaluando Agentes en Datos de Gateway en Vivo Un taller práctico de medio día sobre ingeniería de IA — SídneyLa mayoría de los talleres de evaluación te enseñan a evaluar un conjunto de datos que alguien más construyó. En producción, el conjunto de datos es lo que tu gateway de IA capturó ayer — y la mayoría de los equipos están tirando todo eso.En esta sesión, cambiamos eso. Al inicio de la mañana, activamos una flota en vivo de agentes de IA golpeando un verdadero gateway de IA (Bifrost) en tiempo real. Durante el resto de la sesión, estarás construyendo contra datos que aún están llegando — no un cuaderno de Colab estático, no ejemplos de juguete. Para cuando te vayas, habrás construido un conjunto de datos de oro a partir de tráfico real, enviado una suite de evaluación funcional y tomado una decisión de enviar/no enviar en una prueba A/B en vivo — la misma decisión que un equipo de IA en producción toma cada semana, comprimida en una mañana.Lo que harásPara quién esIngenieros de IA/ML, ingenieros de datos y equipos de productos que están enviando (o a punto de enviar) características de IA y necesitan confianza en que su sistema realmente funciona de manera confiable en producción. Se asume un conocimiento básico de conceptos de IA/LLM — no se requiere experiencia en construcción de agentes.Lo que llevarás contigoUna semilla de conjunto de datos de oro construida a partir de tráfico real, una suite de evaluación funcional que puedes extender y un plan de 30 días para integrar esto en tu propio stack de producción.Logística📅 Lunes 27 de julio 🕤 9:30 a.m. – 12:30 p.m. 📍 The Collider, 477 Pitt St, Haymarket 2000 ☕ Se proporciona té de la mañana, cortesía de Soul OriginTrae una laptop con Python instalado — se enviarán instrucciones completas de configuración antes de la sesión.Dirigido por ingenieros de datos, para ingenieros de datos. Cloud Shuttle · DataEngBytes · cloudshuttle.com.au