Evalueren van Agents op Live Gateway Data

Evalueren van Agents op Live Gateway Data Een halve dag, praktische AI-engineering workshop — Melbourne De meeste eval-workshops leren je om een dataset te evalueren die iemand anders heeft gebouwd. In productie is de dataset wat je AI-gateway gisteren heeft vastgelegd — en de meeste teams gooien al het materiaal weg. In deze sessie draaien we dat om. Aan het begin van de ochtend schakelen we een live vloot van AI-agents in die in realtime een echte AI-gateway (Bifrost) aansteken. Voor de rest van de sessie bouw je tegen data die nog steeds binnenkomt — geen statische Colab-notebook, geen speelgoedvoorbeelden. Tegen de tijd dat je vertrekt, heb je een gouden dataset opgebouwd uit echte verkeer, een werkende eval-suite verzonden en een schip/geen schip-beslissing gemaakt over een live prompt A/B-test — dezelfde beslissing die een productie AI-team elke week maakt, samengeperst in één ochtend. Wat je gaat doen Voor wie het is AI/ML-engineers, data-engineers en productteams die AI-functies verzenden (of op het punt staan om te verzenden) en vertrouwen nodig hebben dat hun systeem daadwerkelijk betrouwbaar werkt in productie. Basiskennis van AI/LLM-concepten wordt verondersteld — geen ervaring met het bouwen van agents vereist. Wat je mee naar huis neemt Een gouden datasetzaad opgebouwd uit echt verkeer, een werkende eval-suite die je kunt uitbreiden, en een 30-daags plan om dit in je eigen productiestack te bouwen. Logistiek 📅 Woensdag 22 juli 🕤 9:30 - 12:30 📍 Stone & Chalk Melbourne, Niveau 1, 121 King St, Melbourne VIC 3000 ☕ Ochtendthee voorzien, aangeboden door Soul Origin Neem een laptop mee met Python geïnstalleerd — volledige installatie-instructies zullen voorafgaand aan de sessie worden verzonden. Georganiseerd door data-engineers, voor data-engineers. Cloud Shuttle · DataEngBytes · cloudshuttle.com.au