Evaluando Agentes en Datos del Gateway en Vivo

Description

Evaluando Agentes en Datos del Gateway en Vivo Un taller práctico de ingeniería de IA de half-day — Melbourne La mayoría de los talleres de evaluación te enseñan a evaluar un conjunto de datos que alguien más construyó. En producción, el conjunto de datos es lo que tu gateway de IA capturó ayer, y la mayoría de los equipos están desechando todo. En esta sesión cambiamos eso. Al inicio de la mañana, activamos una flota en vivo de agentes de IA golpeando un gateway de IA real (Bifrost) en tiempo real. Durante el resto de la sesión, construirás con datos que todavía están llegando — no un cuaderno de Colab estático, no ejemplos de juguete. Cuando te vayas, habrás construido un conjunto de datos dorado a partir de tráfico real, enviado un conjunto de evaluación funcional y tomado una decisión de enviar/no enviar en una prueba A/B en vivo — la misma decisión que un equipo de IA de producción toma cada semana, comprimida en una mañana. Lo que harás Para quién es Ingenieros de IA/ML, ingenieros de datos y equipos de producto que están enviando (o a punto de enviar) funciones de IA y necesitan confianza en que su sistema realmente funciona de manera confiable en producción. Se asume familiaridad básica con los conceptos de IA/LLM — no se requiere experiencia en la construcción de agentes. Lo que llevarás contigo Una semilla de conjunto de datos dorado creada a partir de tráfico real, un conjunto de evaluación funcional que puedes extender, y un plan de 30 días para integrar esto en tu propia pila de producción. Logística 📅 Miércoles 22 de julio 🕤 9:30am – 12:30pm 📍 Stone & Chalk Melbourne, Nivel 1, 121 King St, Melbourne VIC 3000 ☕ Té de la mañana provisto, cortesía de Soul Origin Trae una computadora portátil con Python instalado — se enviarán instrucciones de configuración completas antes de la sesión. Dirigido por ingenieros de datos, para ingenieros de datos. Cloud Shuttle · DataEngBytes · cloudshuttle.com.au