Bewertung von Agenten mit Live-Gateway-Daten

Bewertung von Agenten mit Live-Gateway-Daten Ein halbtägiger, praktischer Workshop für KI-Engineering — MelbourneDie meisten Evaluierungsworkshops lehren Sie, einen Datensatz zu bewerten, den jemand anders erstellt hat. In der Produktion ist der Datensatz, was auch immer Ihr KI-Gateway gestern erfasst hat — und die meisten Teams werfen alles weg.In dieser Sitzung kehren wir das um. Zu Beginn des Morgens schalten wir eine Live-Flotte von KI-Agenten ein, die in Echtzeit ein echtes KI-Gateway (Bifrost) ansteuern. Für den Rest der Sitzung arbeiten Sie mit Daten, die noch eintreffen — nicht mit einem statischen Colab-Notizbuch, nicht mit Spielzeugbeispielen. Bis Sie gehen, haben Sie einen goldenen Datensatz aus echtem Verkehr erstellt, ein funktionierendes Evaluierungs-Toolkit entwickelt und eine Entscheidung über einen Live-Prompt A/B-Test getroffen — dieselbe Entscheidung, die ein Produktionsteam für KI jede Woche trifft, komprimiert in einen Morgen.Was Sie tun werdenWer es istAI/ML-Ingenieure, Dateningenieure und Produktteams, die KI-Funktionen bereitstellen (oder dabei sind, sie bereitzustellen) und Vertrauen haben müssen, dass ihr System in der Produktion zuverlässig funktioniert. Grundkenntnisse in den Bereichen KI/LLM werden vorausgesetzt — keine Erfahrung im Aufbau von Agenten erforderlich.Was Sie mitnehmen werdenEin goldenes Datensatz-Samen aus echtem Verkehr, ein funktionierendes Evaluierungstool, das Sie erweitern können, und einen 30-Tage-Plan, um dies in Ihren eigenen Produktionsstapel zu integrieren.Logistik📅 Mittwoch, 22. Juli 🕤 9:30 – 12:30 📍 Stone & Chalk Melbourne, Ebene 1, 121 King St, Melbourne VIC 3000 ☕ Vormittagstee bereitgestellt, courtesy of Soul OriginBringen Sie einen Laptop mit installiertem Python mit — vollständige Einrichtungsanweisungen werden vor der Sitzung gesendet.Von Dateningenieuren, für Dateningenieure. Cloud Shuttle · DataEngBytes · cloudshuttle.com.au