Evalueren van Agents op Live Gateway Data

Evalueren van Agents op Live Gateway Data Een halve dag, hands-on AI engineering workshop — SydneyDe meeste evaluatieworkshops leren je een dataset te evalueren die iemand anders heeft gebouwd. In productie is de dataset wat jouw AI-gateway gisteren heeft vastgelegd — en de meeste teams gooien het allemaal weg.In deze sessie draaien we dat om. Aan het begin van de ochtend schakelen we een live vloot van AI-agents in die in realtime een echte AI-gateway (Bifrost) belagen. Voor de rest van de sessie bouw je tegen data die nog steeds binnenkomt — geen statiek Colab-notitieboek, geen speeltuinvoorbeelden. Tegen de tijd dat je vertrekt, heb je een gouden dataset gebouwd van echt verkeer, een werkende evaluatiesuite verzonden en een schip/geen-schip beslissing genomen over een live prompt A/B-test — dezelfde beslissing die een productie AI-team elke week maakt, samen geperst in één ochtend.Wat je gaat doenVoor wie het bedoeld isAI/ML-engineers, data-engineers en productteams die AI-functies verzenden (of op het punt staan te verzenden) en behoefte hebben aan vertrouwen dat hun systeem daadwerkelijk betrouwbaar werkt in productie. Basiskennis van AI/LLM-concepten wordt verondersteld — geen ervaring met het bouwen van agents vereist.Wat je mee naar huis neemtEen gouden datasetzaad gebouwd uit echt verkeer, een werkende evaluatiesuite die je kunt uitbreiden, en een 30-daags plan om dit in je eigen productiestack te bouwen.Logistiek📅 Maandag 27 juli 🕤 9:30 - 12:30 📍 The Collider, 477 Pitt St, Haymarket 2000 ☕ Ochtendthee verzorgd, courtesy van Soul OriginBreng een laptop mee met Python geïnstalleerd — volledige installatie-instructies worden voor de sessie verzonden.Georganiseerd door data-engineers, voor data-engineers. Cloud Shuttle · DataEngBytes · cloudshuttle.com.au