Stratégies d'évaluation et d'observabilité de l'IA pour les développeurs web

Construire un agent IA pour votre application n'est que le début. Le défi le plus difficile est de savoir s'il fonctionne réellement bien une fois qu'il commence à planifier, à appeler des outils, à prendre des décisions et à opérer sur plusieurs étapes.Ce atelier vous montre comment concevoir une stratégie d'évaluation et d'observabilité pratique pour les systèmes agents. Vous apprendrez quoi mesurer, comment évaluer les agents pendant le développement, comment évaluer les trajectoires multi-étapes, et comment utiliser la télémétrie de production et les évaluations en ligne pour détecter les pannes et améliorer la fiabilité.L'objectif est de vous aider à passer de "l'agent semble fonctionner" à une approche répétable et fondée sur des preuves pour mesurer la qualité de l'agent.Ce que vous apprendrezÀ la fin de l'atelier, vous serez en mesure de :• Identifier ce qui doit être évalué dans un système agent• Concevoir des cas de test significatifs et des critères d'évaluation• Effectuer des évaluations hors ligne avant de déployer des changements d'agent• Évaluer l'utilisation des outils, les chemins de raisonnement et l'exécution multi-étapes• Utiliser des traces et des signaux de production pour diagnostiquer les pannes d'agent• Introduire des évaluations en ligne pour surveiller en continu la qualité• Construire une stratégie d'évaluation répétable pour vos propres agentsCe que vous emporterez avec vousVous recevrez :• Un cadre pratique pour évaluer les agents IA• Des conseils sur le choix des bons indicateurs de qualité des agents• Des approches pour l'évaluation hors ligne pendant le développement• Des techniques pour évaluer les trajectoires des agents et les décisions intermédiaires• Une compréhension plus claire de l'observabilité pour les agents de production• Des stratégies pour combiner l'évaluation hors ligne et en ligne• Les meilleures pratiques pour construire une stratégie d'évaluation qui évolue avec votre agent• Enregistrement complet de l'atelier• Certificat de réussitePlus important encore, vous repartirez avec le vocabulaire et l'intuition pour discuter des systèmes IA de manière plus précise, enquêter sur les pannes de manière plus efficace et prendre de meilleures décisions lors de la création de produits alimentés par l'IA.Qui devrait assister ?Cet atelier est idéal pour :• Développeurs Web et Logiciels construisant des applications agentiques• Ingénieurs IA• Ingénieurs plateforme et backend• Chefs techniques et architectes• Équipes passant des agents IA du prototype à la productionIl est particulièrement utile pour toute personne ayant déjà un agent ou un flux de travail agentique et souhaitant une manière plus systématique de le mesurer, le déboguer et l'améliorer.Rencontrez votre instructeurSupreet KaurArchitecte Solutions IA Gen Sr. | AWSSupreet est architecte senior en solutions IA Gen chez AWS, aidant les startups à passer des idées d'IA de la preuve de concept à la production. Sa carrière couvre la science des données, les services financiers et l'architecture IA cloud, avec des rôles chez ZS Associates, Morgan Stanley, Microsoft et AWS. Elle est l'auteure du AI Optimization Playbook, une conférencière à plus de 40 événements, une leader de pensée publiée et co-inventrice d'une stratégie de test de personnalisation alimentée par l'IA brevetée.