AI-Evaluierungen und Beobachtungsstrategien für Webentwickler

Der Aufbau eines KI-Agenten für Ihre Anwendung ist nur der Anfang. Die größere Herausforderung besteht darin, zu wissen, ob er tatsächlich gut funktioniert, sobald er plant, Werkzeuge aufruft, Entscheidungen trifft und über mehrere Schritte hinweg agiert.Dieser Workshop zeigt Ihnen, wie Sie eine praktische Evaluierungs- und Beobachtungsstrategie für agentische Systeme entwerfen. Sie lernen, was gemessen werden sollte, wie man Agenten während der Entwicklung bewertet, wie man mehrstufige Trajektorien beurteilt und wie man Produktions-Telemetrie und Online-Evaluierungen verwendet, um Fehler zu erkennen und die Zuverlässigkeit zu verbessern.Das Ziel ist es, Ihnen zu helfen, von „der Agent scheint zu funktionieren“ zu einem wiederholbaren, evidenzbasierten Ansatz zur Messung der Qualität von Agenten zu wechseln.Was Sie lernen werdenAm Ende des Workshops werden Sie in der Lage sein:• Zu identifizieren, was in einem agentischen System bewertet werden sollte• Sinnvolle Testfälle und Evaluierungskriterien zu entwerfen• Offline-Evaluierungen durchzuführen, bevor Änderungen am Agenten bereitgestellt werden• Die Nutzung von Werkzeugen, Denkwegen und mehrstufiger Ausführung zu bewerten• Spuren und Produktionssignale zu verwenden, um Fehler von Agenten zu diagnostizieren• Online-Evaluierungen einzuführen, um die Qualität kontinuierlich zu überwachen• Eine wiederholbare Evaluierungsstrategie für Ihre eigenen Agenten zu entwickelnWas Sie mitnehmen werdenSie erhalten:• Ein praktisches Rahmenwerk zur Bewertung von KI-Agenten• Hinweise zur Auswahl der richtigen Qualitätsmetriken für Agenten• Ansätze zur Offline-Evaluierung während der Entwicklung• Techniken zur Beurteilung von Agententrajektorien und Zwischenentscheidungen• Ein klareres Verständnis der Beobachtbarkeit für Produktionsagenten• Strategien zur Kombination von Offline- und Online-Evaluierung• Best Practices zum Aufbau einer Evaluierungsstrategie, die sich mit Ihrem Agenten weiterentwickelt• Vollständige Workshop-Aufzeichnung• TeilnahmezertifikatWichtiger ist, dass Sie mit dem Vokabular und dem Gespür für das präzise Diskutieren von KI-Systemen, dem effektiven Untersuchen von Fehlern und dem besseren Treffen von Entscheidungen beim Bau von KI-gestützten Produkten nach Hause gehen werden.Für wen ist der Workshop geeignet?Dieser Workshop ist ideal für:• Web- und Softwareentwickler, die agentische Anwendungen erstellen• KI-Ingenieure• Plattform- und Backend-Entwickler• Technische Leiter und Architekten• Teams, die KI-Agenten von Prototypen in die Produktion bringenEr ist besonders nützlich für jeden, der bereits einen Agenten oder einen agentischen Workflow hat und eine systematischere Methode zum Messen, Debuggen und Verbessern wünscht.Ihren Dozenten kennenlernenSupreet KaurSr. Gen AI Solutions Architect | AWSSupreet ist Senior GenAI Solutions Architect bei AWS und hilft Startups, KI-Ideen von der Machbarkeitsstudie in die Produktion zu bringen. Ihre Karriere umfasst Datenwissenschaft, Finanzdienstleistungen und Cloud-AI-Architektur mit Positionen bei ZS Associates, Morgan Stanley, Microsoft und AWS. Sie ist Autorin des Buches „The AI Optimization Playbook“, Referentin bei über 40 Veranstaltungen, veröffentlichte Vordenkerin und Mit-Erfinderin einer patentierten, KI-gestützten Strategie zur Testung von Personalisierung.