Estratégias de Avaliação e Observabilidade de IA para Desenvolvedores Web

Construir um agente de IA para sua aplicação é apenas o começo. O desafio mais difícil é saber se ele está funcionando bem uma vez que começa a planejar, chamar ferramentas, tomar decisões e operar em várias etapas. Este workshop mostra como projetar uma estratégia prática de avaliação e observabilidade para sistemas agentes. Você aprenderá o que medir, como avaliar agentes durante o desenvolvimento, como avaliar trajetórias em múltiplas etapas e como usar telemetria de produção e avaliações online para detectar falhas e melhorar a confiabilidade. O objetivo é ajudá-lo a passar de “o agente parece funcionar” para uma abordagem repetível e baseada em evidências para medir a qualidade do agente. O que você aprenderá Ao final do workshop, você será capaz de: Identificar o que deve ser avaliado em um sistema agente Projetar casos de teste significativos e critérios de avaliação Executar avaliações offline antes de implantar mudanças no agente Avaliar o uso de ferramentas, caminhos de raciocínio e execução em multi-etapas Usar rastros e sinais de produção para diagnosticar falhas do agente Introduzir avaliações online para monitorar continuamente a qualidade Construir uma estratégia de avaliação repetível para seus próprios agentes O que você levará Você receberá: Uma estrutura prática para avaliar agentes de IA Orientação sobre como escolher as métricas de qualidade do agente Abordagens para avaliação offline durante o desenvolvimento Técnicas para avaliar trajetórias de agentes e decisões intermediárias Uma compreensão mais clara da observabilidade para agentes de produção Estratégias para combinar avaliação offline e online Melhores práticas para construir uma estratégia de avaliação que evolua com seu agente Gravação completa do workshop Certificado de conclusão Mais importante, você sairá com o vocabulário e a intuição para discutir sistemas de IA de forma mais precisa, investigar falhas de maneira mais eficaz e tomar melhores decisões ao construir produtos alimentados por IA. Quem deve participar? Este workshop é ideal para: Desenvolvedores Web e de Software construindo aplicações agentes Engenheiros de IA Engenheiros de Plataforma e Backend Líderes Técnicos e Arquitetos Equipes que estão levando agentes de IA do protótipo para a produção É particularmente útil para qualquer pessoa que já tenha um agente ou fluxo de trabalho agente e queira uma maneira mais sistemática de medir, depurar e melhorar isso. Conheça seu Instrutor Supreet Kaur Arquiteta de Soluções Gen AI Sênior | AWS Supreet é uma Arquiteta de Soluções GenAI Sênior na AWS, ajudando startups a levar ideias de IA de prova de conceito para produção. Sua carreira abrange ciência de dados, serviços financeiros e arquitetura de IA em nuvem, com cargos na ZS Associates, Morgan Stanley, Microsoft e AWS. Ela é autora de The AI Optimization Playbook, palestrante em mais de 40 eventos, líder de pensamento publicada, e co-inventora de uma estratégia de teste de personalização impulsionada por IA com patente.