Stratégies d'évaluation et d'observabilité de l'IA pour les développeurs

Construire un agent IA pour votre application n'est que le début. Le défi plus difficile est de savoir s'il fonctionne réellement bien une fois qu'il commence à planifier, à appeler des outils, à prendre des décisions et à fonctionner sur plusieurs étapes.Ce workshop vous montre comment concevoir une stratégie d'évaluation et d'observabilité pratique pour les systèmes agentiques. Vous apprendrez quoi mesurer, comment évaluer les agents pendant le développement, comment évaluer les trajectoires multi-étapes et comment utiliser la télémétrie de production et les évaluations en ligne pour détecter les pannes et améliorer la fiabilité.Le but est de vous aider à passer de "l'agent semble fonctionner" à une approche répétable et fondée sur des preuves pour mesurer la qualité de l'agent.NOTE : Si vous ne pouvez pas acheter le billet directement auprès d'Eventbrite, vous pouvez le faire via Luma. Voici le lien : Stratégies d'évaluation et d'observabilité de l'IA pour les développeurs Web · LumaCe que vous apprendrezÀ la fin du workshop, vous serez capable de :• Identifier ce qui doit être évalué dans un système agentique• Concevoir des cas de test significatifs et des critères d'évaluation• Effectuer des évaluations hors ligne avant de déployer des changements d'agent• Évaluer l'utilisation des outils, les chemins de raisonnement et l'exécution multi-étapes• Utiliser des traces et des signaux de production pour diagnostiquer les pannes des agents• Introduire des évaluations en ligne pour surveiller continuellement la qualité• Construire une stratégie d'évaluation répétable pour vos propres agentsCe que vous repartirez avecVous recevrez :• Un cadre pratique pour évaluer les agents IA• Des conseils sur le choix des bons indicateurs de qualité des agents• Des approches pour l'évaluation hors ligne pendant le développement• Des techniques pour évaluer les trajectoires des agents et les décisions intermédiaires• Une compréhension plus claire de l'observabilité pour les agents en production• Des stratégies pour combiner évaluation hors ligne et en ligne• Des meilleures pratiques pour construire une stratégie d'évaluation qui évolue avec votre agent• Un enregistrement complet de l'atelier• Un certificat de réussitePlus important encore, vous repartirez avec le vocabulaire et l'intuition pour discuter des systèmes d'IA de manière plus précise, enquêter sur les pannes plus efficacement et prendre de meilleures décisions lors de la construction de produits alimentés par l'IA.Qui devrait assister ?Ce workshop est idéal pour :• Développeurs Web et Logiciels construisant des applications agentiques• Ingénieurs en IA• Ingénieurs de plateforme et Backend• Chefs techniques et Architectes• Équipes passant des agents IA du prototype à la productionC'est particulièrement utile pour quiconque possède déjà un agent ou un flux de travail agentique et souhaite une manière plus systématique de le mesurer, de le déboguer et de l'améliorer.Rencontrez votre instructeurSupreet KaurArchitecte de solutions Gen IA Sr. | AWSSupreet est un architecte de solutions GenAI senior chez AWS, aidant les startups à passer des idées d'IA du prototype à la production. Sa carrière s'étend à la science des données, aux services financiers et à l'architecture IA dans le cloud, avec des rôles chez ZS Associates, Morgan Stanley, Microsoft et AWS. Elle est l'auteure de The AI Optimization Playbook, intervenante dans plus de 40 événements, leader d'opinion publiée et co-inventrice d'une stratégie de test de personnalisation alimentée par l'IA brevetée.