Стратегії оцінки та спостереження за AI для розробників

Створення AI-агента для вашого додатку - це тільки початок. Складніше завдання - дізнатися, чи справді він працює добре, коли починає планувати, викликати інструменти, приймати рішення і працювати через кілька етапів.Цей семінар покаже вам, як розробити практичну стратегію оцінки та спостереження за агентними системами. Ви дізнаєтеся, що потрібно вимірювати, як оцінювати агентів під час розробки, як оцінити багатоступеневі траєкторії і як використовувати виробничу телеметрію та онлайн-оцінювання для виявлення несправностей і покращення надійності.Метою є допомогти вам перейти від "агент, здається, працює" до повторювального, заснованого на доказах підходу до вимірювання якості агентів.ПРИМІТКА: Якщо ви не можете безпосередньо придбати квиток через Eventbrite, ви можете зробити це через Luma. Ось посилання: Стратегії оцінки та спостереження за AI для веб-розробників · LumaЧого ви навчитесяДо кінця семінару ви зможете:• Визначити, що слід оцінювати в агентній системі• Розробити значущі випадки тестування та критерії оцінки• Запустити оффлайн-оцінки перед впровадженням змін агентів• Оцінити використання інструментів, шляхи міркувань і багатоступеневе виконання• Використовувати сліди та виробничі сигнали для діагностики несправностей агентів• Впроваджувати онлайн-оцінки для безперервного моніторингу якості• Побудувати повторювальну стратегію оцінки для ваших власних агентівЧим ви підете з семінаруВи отримаєте:• Практичну структуру для оцінки AI-агентів• Настанови з вибору правильних метрик якості агентів• Підходи до оффлайн-оцінки під час розробки• Техніки оцінки траєкторій агентів та проміжних рішень• Чіткіше розуміння спостережності для виробничих агентів• Стратегії комбінування оффлайн і онлайн оцінки• Кращі практики для побудови стратегії оцінки, що еволюціонує разом з вашим агентом• Повну запис семінару• Сертифікат про проходженняБільш важливо, ви підете з лексикою та інтуїцією, щоб точніше обговорювати AI-системи, ефективніше досліджувати несправності та приймати кращі рішення при розробці продуктів, що використовують AI.Хто має відвідувати?Цей семінар ідеальний для:• Веб- та програмних розробників, які створюють агентні додатки• AI-інженерів• Інженерів платформ та бекенду• Технічних керівників та архітекторів• Команд, що переносять AI-агентів з прототипу до виробництваВін особливо корисний для всіх, хто вже має агента або агентний робочий процес і хоче більш систематичний спосіб вимірювання, налагодження та покращення.Познайомтеся з вашим інструкторомСупріт КаурСтарший архітектор рішень Gen AI | AWSСупріт є старшим архітектором рішень GenAI в AWS, допомагаючи стартапам втілювати AI-ідеї з концепції в продукцію. Її кар'єра охоплює сферу науки про дані, фінансові послуги та архітектуру хмарного AI, з посадами в ZS Associates, Morgan Stanley, Microsoft та AWS. Вона є автором Керівництва з оптимізації AI, спікером на 40+ заходах, опублікованим експертом думки та співавтором запатентованої стратегії тестування персоналізації на базі AI.