Évaluation des agents sur les données de Live Gateway

Description

Évaluation des agents sur les données de Live Gateway Un atelier pratique d'ingénierie AI de moitié de journée — Melbourne La plupart des ateliers d'évaluation vous enseignent à évaluer un ensemble de données construit par quelqu'un d'autre. En production, l'ensemble de données est celui capturé par votre passerelle AI hier — et la plupart des équipes jettent tout. Dans cette session, nous inverserons la tendance. Au début de la matinée, nous activerons une flotte en direct d'agents AI frappant une véritable passerelle AI (Bifrost) en temps réel. Pour le reste de la session, vous construirez contre des données qui continuent d'arriver — pas un notebook Colab statique, pas d'exemples simplistes. Au moment de votre départ, vous aurez construit un ensemble de données en or à partir d'un véritable trafic, expédié une suite d'évaluation fonctionnelle, et pris une décision d'expédition/non-expédition sur un test A/B de prompt en direct — la même décision qu'une équipe AI en production prend chaque semaine, compressée en une seule matinée. Ce que vous ferez Pour qui c'est Ingénieurs AI/ML, ingénieurs de données et équipes produit qui expédient (ou sont sur le point d'expédier) des fonctionnalités AI et ont besoin de la confiance que leur système fonctionne réellement de manière fiable en production. Une familiarité de base avec les concepts AI/LLM est supposée — aucune expérience de construction d'agents requise. Ce que vous emporterez Une graine d'ensemble de données en or construite à partir d'un véritable trafic, une suite d'évaluation fonctionnelle que vous pouvez étendre, et un plan de 30 jours pour intégrer cela dans votre propre stack de production. Logistique 📅 Mercredi 22 juillet 🕤 9h30 – 12h30 📍 Stone & Chalk Melbourne, Niveau 1, 121 King St, Melbourne VIC 3000 ☕ Thé du matin fourni, grâce à Soul Origin Apportez un ordinateur portable avec Python installé — des instructions complètes de configuration seront envoyées avant la session. Animé par des ingénieurs de données, pour des ingénieurs de données. Cloud Shuttle · DataEngBytes · cloudshuttle.com.au