Warsztaty: Mistrzowska Obserwowalność AI z Granolą i Braintrust

Twój agent jest w produkcji. Teraz musisz zrozumieć, co on robi, gdzie się myli i co poprawić w następnej kolejności. Na tych praktycznych warsztatach użyjesz Braintrust, aby przekształcić produkcyjne ślady w ukierunkowane oceny. Użyjemy Tematów, aby ujawnić wzorce w rzeczywistych śladach agentów, zidentyfikować problemy warte zbadania i zbudować niestandardowe wskaźniki, aby je bezpośrednio mierzyć. Następnie zaktualizujesz swojego agenta, ponownie uruchomisz swoje oceny i porównasz wyniki w Braintrust. To jest aktywna obserwowalność: używanie zachowania produkcyjnego do decydowania, co testować, naprawić i wysłać następnie. Opuścisz z powtarzalnym przepływem pracy do przekształcania zachowania agenta w oceny, mierzenia poprawy i wychwytywania regresji, zanim zrobią to użytkownicy.Co zbudujesz:Format: Prowadzone warsztaty praktycznePoziom: Średniozaawansowany, wcześniejsze doświadczenie z ocenami AI wymaganePrzynieś: Laptop