Оценка агентов на данных живого шлюза

Оценка агентов на данных живого шлюза Полудневный практический семинар по инженерии ИИ — Мельбурн Большинство семинаров по оценке учат вас оценивать набор данных, созданный кем-то другим. В производстве набор данных — это все, что ваш шлюз ИИ захватил вчера, и большинство команд выбрасывает все это. На этой сессии мы это изменим. В начале утра мы включим живой парк ИИ-агентов, работающих с настоящим шлюзом ИИ (Bifrost) в реальном времени. В течение остальной части сессии вы будете работать с данными, которые все еще поступают — не с статической тетрадью Colab, не с игрушечными примерами. К моменту вашего ухода вы создадите золотой набор данных из реального трафика, доставите работающий набор для оценки и примете решение о запуске/не запуске на живом A/B тесте — то же самое решение, которое производственная команда ИИ принимает каждую неделю, сжато в одно утро. Что вы будете делать Для кого это Инженеры ИИ/МЛ, инженеры данных и продуктовые команды, которые разрабатывают (или собираются разрабатывать) функции ИИ и нуждаются в уверенности, что их система действительно работает надежно в производстве. Предполагается базовая знакомость с концепциями ИИ/LLM — опыт создания агентов не требуется. Что вы получите Золотой набор данных, созданный из реального трафика, рабочий набор для оценки, который вы можете расширять, и 30-дневный план по интеграции этого в вашу собственную производственную инфраструктуру. Логистика 📅 Среда, 22 июля 🕤 9:30 – 12:30 📍 Stone & Chalk Melbourne, Уровень 1, 121 King St, Melbourne VIC 3000 ☕ Утренний чай предоставлен, courtesy of Soul Origin Принесите ноутбук с установленным Python — полные инструкции по настройке будут отправлены перед сессией. Проводится инженерами данных для инженеров данных. Cloud Shuttle · DataEngBytes · cloudshuttle.com.au