Стратегии оценки ИИ и наблюдаемости для разработчиков

Создание ИИ-агента для вашего приложения — это только начало. Более сложная задача заключается в том, чтобы понять, действительно ли он работает хорошо, когда начинает планировать, использовать инструменты, принимать решения и действовать на нескольких этапах.Этот мастер-класс покажет вам, как разработать практическую стратегию оценки и наблюдаемости для агентных систем. Вы узнаете, что нужно измерять, как оценивать агентов во время разработки, как оценивать многошаговые траектории и как использовать производственную телеметрию и онлайн-оценки для выявления ошибок и улучшения надежности.Цель состоит в том, чтобы помочь вам перейти от «агент, похоже, работает» к повторяемому, основанному на доказательствах подходу к измерению качества агентов.ПРИМЕЧАНИЕ: Если вы не можете приобрести билет напрямую на Eventbrite, вы можете сделать это через Luma. Вот ссылка: Стратегии оценки ИИ и наблюдаемости для веб-разработчиков · LumaЧто вы узнаетеК концу мастер-класса вы сможете:• Определить, что следует оценивать в агентной системе• Разработать значимые тестовые случаи и критерии оценки• Запускать оффлайн-оценки перед развертыванием изменений агентов• Оценивать использование инструментов, логические пути и многошаговое выполнение• Использовать трассировки и производственные сигналы для диагностики ошибок агентов• Внедрять онлайн-оценки для постоянного мониторинга качества• Создать повторяемую стратегию оценки для ваших собственных агентовС чем вы уйдетеВы получите:• Практическую структуру для оценки ИИ-агентов• Рекомендации по выбору правильных метрик качества агентов• Подходы для оффлайн-оценки во время разработки• Техники для оценки траекторий агентов и промежуточных решений• Более четкое понимание наблюдаемости для производственных агентов• Стратегии для сочетания оффлайн и онлайн оценки• Лучшие практики для создания стратегии оценки, которая развивается вместе с вашим агентом• Полная запись мастер-класса• Сертификат о завершенииБолее того, вы уйдете с лексикой и интуицией для более точного обсуждения ИИ-систем, более эффективного расследования ошибок и принятия лучших решений при создании продуктов на основе ИИ.Кто должен посетить?Этот мастер-класс идеально подходит для:• Веб- и программных разработчиков, создающих агентные приложения• Инженеров ИИ• Инженеров платформы и бэкенда• Технических лидеров и архитекторов• Команд, переводящих ИИ-агентов из прототипа в продукциюОсобенно полезно для тех, кто уже имеет агента или агентный рабочий процесс и хочет более систематический способ измерения, отладки и его улучшения.Познакомьтесь с вашим инструкторомСуприт КаурСтарший архитектор решений по генерации ИИ | AWSСуприт — старший архитектор решений по генерации ИИ в AWS, помогающий стартапам реализовать идеи ИИ от концепции до производства. Её карьера охватывает области науки о данных, финансовых услуг и облачной архитектуры ИИ, с работой в ZS Associates, Morgan Stanley, Microsoft и AWS. Она является автором книги The AI Optimization Playbook, спикером на более чем 40 мероприятиях, опубликованным лидером мнений и соизобретателем запатентованной стратегии тестирования персонализации на основе ИИ.