Workshop: Meistern der KI-Observabilität mit Granola & Braintrust

Ihr Agent ist in Produktion. Jetzt müssen Sie verstehen, was er tut, wo er scheitert und was als Nächstes verbessert werden kann. In diesem praktischen Workshop verwenden Sie Braintrust, um Produktionstraces in gezielte Evaluierungen umzuwandeln. Wir nutzen Topics, um Muster über echte Agententraces zu identifizieren, die Probleme herauszufinden, die eine Untersuchung wert sind, und maßgeschneiderte Bewertungsmodelle zu erstellen, um sie direkt zu messen. Dann aktualisieren Sie Ihren Agenten, führen Ihre Evaluierungen erneut durch und vergleichen die Ergebnisse in Braintrust. Dies ist aktive Observabilität: das Verhalten in der Produktion zu nutzen, um zu entscheiden, was getestet, behoben und als Nächstes ausgeliefert werden soll. Sie werden mit einem wiederholbaren Workflow gehen, um das Verhalten von Agenten in Evaluierungen zu verwandeln, Verbesserungen zu messen und Regressionen zu erkennen, bevor es die Benutzer tun. Was Sie bauen werden: Format: Geführter praktischer Workshop Level: Fortgeschritten, vorherige Erfahrung mit KI-Evaluierungen erforderlich Bring: Einen Laptop