Estrategias de Evaluación y Observabilidad de IA para Desarrolladores

Construir un agente de IA para tu aplicación es solo el principio. El desafío más difícil es saber si realmente está funcionando bien una vez que comienza a planificar, llamar herramientas, tomar decisiones y operar a través de múltiples pasos.Este taller te muestra cómo diseñar una estrategia práctica de evaluación y observabilidad para sistemas agénticos. Aprenderás qué medir, cómo evaluar agentes durante el desarrollo, cómo evaluar trayectorias de múltiples pasos y cómo utilizar la telemetría de producción y evaluaciones en línea para detectar fallos y mejorar la fiabilidad.El objetivo es ayudarte a pasar de "el agente parece funcionar" a un enfoque repetible y basado en evidencias para medir la calidad del agente.NOTA: En caso de que no puedas comprar el ticket directamente desde Eventbrite, puedes hacerlo desde Luma. Aquí está el enlace: Estrategias de Evaluación y Observabilidad de IA para Desarrolladores Web · LumaLo que aprenderásAl final del taller, podrás:• Identificar lo que debe ser evaluado en un sistema agéntico• Diseñar casos de prueba significativos y criterios de evaluación• Realizar evaluaciones fuera de línea antes de implementar cambios en el agente• Evaluar el uso de herramientas, caminos de razonamiento y ejecución de múltiples pasos• Utilizar trazas y señales de producción para diagnosticar fallos en el agente• Introducir evaluaciones en línea para monitorear continuamente la calidad• Construir una estrategia de evaluación repetible para tus propios agentesLo que te llevarásRecibirás:• Un marco práctico para evaluar agentes de IA• Orientación sobre cómo elegir las métricas de calidad adecuadas para el agente• Enfoques para la evaluación fuera de línea durante el desarrollo• Técnicas para evaluar trayectorias de agentes y decisiones intermedias• Una comprensión más clara de la observabilidad para agentes en producción• Estrategias para combinar la evaluación fuera de línea y en línea• Mejores prácticas para construir una estrategia de evaluación que evolucione con tu agente• Grabación completa del taller• Certificado de finalizaciónMás importante aún, te irás con el vocabulario y la intuición para discutir los sistemas de IA de forma más precisa, investigar fallos de manera más efectiva y tomar mejores decisiones al construir productos impulsados por IA.¿Quién debería asistir?Este taller es ideal para:• Desarrolladores Web y de Software que construyen aplicaciones agénticas• Ingenieros de IA• Ingenieros de Plataforma y Backend• Líderes Técnicos y Arquitectos• Equipos que mueven agentes de IA de prototipo a producciónEs particularmente útil para cualquiera que ya tenga un agente o flujo de trabajo agéntico y quiera una forma más sistemática de medir, depurar y mejorar.Conoce a tu InstructorSupreet KaurArquitecta de Soluciones de IA Gen Sr. | AWSSupreet es una Arquitecta de Soluciones de GenAI Senior en AWS, ayudando a startups a llevar ideas de IA desde la prueba de concepto hasta la producción. Su carrera abarca ciencia de datos, servicios financieros y arquitectura de IA en la nube, con roles en ZS Associates, Morgan Stanley, Microsoft y AWS. Es autora de The AI Optimization Playbook, ponente en más de 40 eventos, líder de pensamiento publicada y co-inventora de una estrategia patentada de pruebas de personalización impulsada por IA.