Taller: Dominando la Observabilidad de IA con Granola y Braintrust

Tu agente está en producción. Ahora necesitas entender qué está haciendo, dónde está fallando y qué mejorar a continuación. En este taller práctico, utilizarás Braintrust para convertir los trazos de producción en evaluaciones específicas. Usaremos Temas para revelar patrones a través de trazos de agentes reales, identificar los problemas que valen la pena investigar y construir puntuadores personalizados para medirlos directamente. Luego, actualizarás tu agente, ejecutarás nuevamente tus evaluaciones y compararás los resultados en Braintrust. Esta es una observabilidad activa: utilizar el comportamiento de producción para decidir qué probar, arreglar y enviar a continuación. Saldrás con un flujo de trabajo repetible para convertir el comportamiento del agente en evaluaciones, medir mejoras y detectar regresiones antes de que lo hagan los usuarios. Lo que construirás: Formato: Taller práctico guiado Nivel: Intermedio, se necesita experiencia previa con evaluaciones de IA Traer: Una computadora portátil