Atelier : Maîtriser l'observabilité de l'IA avec Granola et Braintrust

Votre agent est en production. Maintenant, vous devez comprendre ce qu'il fait, où il échoue et quoi améliorer ensuite. Dans cet atelier pratique, vous utiliserez Braintrust pour transformer les traces de production en évaluations ciblées. Nous utiliserons des sujets pour faire ressortir des modèles à travers de vraies traces d'agents, identifier les problèmes qui valent la peine d'être examinés, et créer des scoreurs personnalisés pour les mesurer directement. Ensuite, vous mettrez à jour votre agent, relancerez vos évaluations et comparerez les résultats dans Braintrust. C'est une observabilité active : utiliser le comportement en production pour décider quoi tester, corriger et expédier ensuite. Vous repartirez avec un flux de travail reproductible pour transformer le comportement de l'agent en évaluations, mesurer les améliorations et détecter les régressions avant les utilisateurs.Ce que vous construirez :Format : Atelier pratique guidéNiveau : Intermédiaire, une expérience préalable avec les évaluations d'IA est nécessaireApportez : Un ordinateur portable