Bewertung von Agenten auf Live-Gateway-Daten

Bewertung von Agenten auf Live-Gateway-Daten Ein halbtägiger, praktischer Workshop zur KI-Engineering — SydneyDie meisten Bewertungs-Workshops lehren, wie man einen Datensatz bewertet, den jemand anderes erstellt hat. In der Produktion besteht der Datensatz aus dem, was Ihr KI-Gateway gestern erfasst hat — und die meisten Teams werfen alles weg.In dieser Sitzung kehren wir das um. Zu Beginn des Morgens schalten wir eine Live-Flotte von KI-Agenten ein, die in Echtzeit auf ein echtes KI-Gateway (Bifrost) zugreifen. Für den Rest der Sitzung arbeiten Sie mit Daten, die immer noch eintreffen — nicht mit einem statischen Colab-Notebook, nicht mit Spielbeispielen. Wenn Sie gehen, werden Sie einen goldenen Datensatz aus echtem Verkehr aufgebaut, eine funktionierende Bewertungssuite erstellt und eine Entscheidung über einen Live-Prompt A/B-Test getroffen — dieselbe Entscheidung, die ein Produktion KI-Team jede Woche trifft, in einen Morgen komprimiert.Was Sie tun werdenFür wen es gedacht istKI/ML-Ingenieure, Dateningenieure und Produktteams, die KI-Funktionen versenden (oder kurz davor stehen) und sicher sein müssen, dass ihr System tatsächlich zuverlässig in der Produktion funktioniert. Grundlegende Vertrautheit mit KI/LLM-Konzepten wird vorausgesetzt — keine Erfahrung im Aufbau von Agenten erforderlich.Was Sie mitnehmen werdenEin goldenes Datensatz-Samen, das aus echtem Verkehr erstellt wurde, eine funktionierende Bewertungssuite, die Sie erweitern können, und einen 30-Tage-Plan, um dies in Ihren eigenen Produktions-Stack zu integrieren.Logistik📅 Montag, 27. Juli 🕤 9:30 – 12:30 📍 The Collider, 477 Pitt St, Haymarket 2000 ☕ Morgentee bereitgestellt von Soul OriginBringen Sie einen Laptop mit installiertem Python mit — vollständige Anweisungen zur Einrichtung werden vor der Sitzung verschickt.Von Dateningenieuren für Dateningenieure. Cloud Shuttle · DataEngBytes · cloudshuttle.com.au