Воркшоп: Осваивание наблюдаемости ИИ с Granola и Braintrust

Ваш агент в продакшене. Теперь вам нужно понять, что он делает, где он терпит неудачу и что улучшить в следующий раз. На этом практическом воркшопе вы будете использовать Braintrust, чтобы превратить производственные трассировки в целевые оценки. Мы будем использовать Темы, чтобы выявить шаблоны по реальным трассировкам агента, определить проблемы, которые стоит исследовать, и создать пользовательские оценщики для их измерения непосредственно. Затем вы обновите своего агента, повторно запустите ваши оценки и сравните результаты в Braintrust. Это активная наблюдаемость: использование поведения в продакшене для определения того, что тестировать, исправлять и отправлять дальше. Вы уйдете с повторяемым рабочим процессом преобразования поведения агента в оценки, измерения улучшений и выявления регрессий до того, как это сделают пользователи.Что вы создадите:Формат: Направляемый практический воркшопУровень: Средний, требуется предварительный опыт работы с оценками ИИПринесите: Ноутбук