Estratégias de Avaliação e Observabilidade de IA para Desenvolvedores

Construir um agente de IA para sua aplicação é apenas o começo. O desafio mais difícil é saber se realmente está funcionando bem uma vez que comece a planejar, chamar ferramentas, tomar decisões e operar em múltiplas etapas.Este workshop mostra como projetar uma estratégia prática de avaliação e observabilidade para sistemas agentes. Você aprenderá o que medir, como avaliar agentes durante o desenvolvimento, como avaliar trajetórias de múltiplas etapas e como usar telemetria de produção e avaliações online para detectar falhas e melhorar a confiabilidade.O objetivo é ajudá-lo a passar de "o agente parece funcionar" para uma abordagem repetível e baseada em evidências para medir a qualidade do agente.NOTA: Caso você não consiga comprar o ingresso diretamente do Eventbrite, pode fazê-lo pelo Luma. Aqui está o link: Estratégias de Avaliação e Observabilidade de IA para Desenvolvedores Web · LumaO que você aprenderáAo final do workshop, você será capaz de:• Identificar o que deve ser avaliado em um sistema agente• Projetar casos de teste significativos e critérios de avaliação• Realizar avaliações offline antes de implantar mudanças no agente• Avaliar o uso de ferramentas, caminhos de raciocínio e execução em múltiplas etapas• Usar rastros e sinais de produção para diagnosticar falhas do agente• Introduzir avaliações online para monitorar continuamente a qualidade• Construir uma estratégia de avaliação repetível para seus próprios agentesCom o que você sairáVocê receberá:• Uma estrutura prática para avaliar agentes de IA• Orientação sobre como escolher as métricas certas de qualidade do agente• Abordagens para avaliação offline durante o desenvolvimento• Técnicas para avaliar trajetórias de agentes e decisões intermediárias• Uma compreensão mais clara da observabilidade para agentes em produção• Estratégias para combinar avaliação offline e online• Melhores práticas para construir uma estratégia de avaliação que evolui com seu agente• Gravação completa do workshop• Certificado de conclusãoMais importante, você sairá com o vocabulário e a intuição para discutir sistemas de IA com mais precisão, investigar falhas de forma mais eficaz e tomar melhores decisões ao construir produtos impulsionados por IA.Quem deve participar?Este workshop é ideal para:• Desenvolvedores Web e de Software que constroem aplicações agentes• Engenheiros de IA• Engenheiros de Plataforma e Backend• Líderes Técnicos e Arquitetos• Equipes que estão movendo agentes de IA de protótipos para produçãoÉ particularmente útil para quem já possui um agente ou fluxo de trabalho agente e deseja uma maneira mais sistemática de medir, depurar e melhorá-lo.Conheça Seu InstrutorSupreet KaurArquiteta de Soluções de Gen AI Sênior | AWSSupreet é Arquiteta de Soluções de GenAI Sênior na AWS, ajudando startups a levar ideias de IA do conceito à produção. Sua carreira abrange ciência de dados, serviços financeiros e arquitetura de IA em nuvem, com funções na ZS Associates, Morgan Stanley, Microsoft e AWS. Ela é autora do The AI Optimization Playbook, palestrante em mais de 40 eventos, líder de pensamento publicada e co-inventora de uma estratégia patenteada de teste de personalização impulsionada por IA.