Évaluation des agents sur des données de passerelle en direct

Évaluation des agents sur des données de passerelle en direct Un atelier pratique d'ingénierie AI d'une demi-journée — SydneyLa plupart des ateliers d'évaluation vous apprennent à évaluer un ensemble de données construit par quelqu'un d'autre. En production, l'ensemble de données est celui que votre passerelle AI a capturé hier — et la plupart des équipes jettent tout cela.Dans cette session, nous renversons cela. Au début de la matinée, nous activons une flotte en direct d'agents AI frappant une véritable passerelle AI (Bifrost) en temps réel. Pour le reste de la session, vous construisez à partir de données qui arrivent encore — pas un carnet Colab statique, pas des exemples simplistes. Au moment où vous partez, vous aurez construit un ensemble de données d'or à partir d'un trafic réel, expédié une suite d'évaluation fonctionnelle, et pris une décision d'expédition/non-expédition sur un test A/B en direct — la même décision qu'une équipe AI de production prend chaque semaine, compressée en une seule matinée.Ce que vous ferezPour qui c'est destinéIngénieurs AI/ML, ingénieurs en données et équipes produit qui expédient (ou s'apprêtent à expédier) des fonctionnalités AI et ont besoin de la certitude que leur système fonctionne en production de manière fiable. Une familiarité de base avec les concepts AI/LLM est supposée — aucune expérience de construction d'agents requise.Ce que vous emporterezUne graine d'ensemble de données d'or construite à partir d'un trafic réel, une suite d'évaluation fonctionnelle que vous pouvez étendre, et un plan de 30 jours pour intégrer cela dans votre propre pile de production.Logistique📅 Lundi 27 juillet 🕤 9h30 – 12h30 📍 The Collider, 477 Pitt St, Haymarket 2000 ☕ Thé du matin fourni, courtesy of Soul OriginApportez un ordinateur portable avec Python installé — des instructions complètes de configuration seront envoyées avant la session.Animé par des ingénieurs en données, pour des ingénieurs en données. Cloud Shuttle · DataEngBytes · cloudshuttle.com.au