Workshop: Meester in AI Observability met Granola & Braintrust

Je agent is in productie. Nu moet je begrijpen wat het doet, waar het falen en wat je als volgende moet verbeteren. In deze praktische workshop gebruik je Braintrust om productietracés om te zetten in gerichte evaluaties. We zullen Onderwerpen gebruiken om patronen te onthullen in echte agenttracés, de problemen te identificeren die het waard zijn om te onderzoeken, en aangepaste beoordelaars te bouwen om ze direct te meten. Vervolgens update je je agent, voer je je evaluaties opnieuw uit, en vergelijk je de resultaten in Braintrust. Dit is actieve observability: gebruik maken van productiegedrag om te beslissen wat te testen, te repareren en als volgende te verzenden. Je gaat weg met een herhaalbare workflow voor het omzetten van agentgedrag in evaluaties, het meten van verbeteringen en het opvangen van regressies voordat gebruikers dat doen.Wat je gaat bouwen:Formaat: Geleide praktische workshopNiveau: Gevorderd, eerdere ervaring met AI-evaluaties vereistNeem mee: Een laptop