AI-Evaluierungs- und Beobachtungsstrategien

Den Aufbau eines KI-Agenten für Ihre Anwendung zu beginnen, ist erst der Anfang. Die größere Herausforderung besteht darin, zu wissen, ob er tatsächlich gut funktioniert, wenn er mit der Planung, dem Aufrufen von Werkzeugen, dem Treffen von Entscheidungen und dem Betrieb über mehrere Schritte hinweg beginnt.Dieser Workshop zeigt Ihnen, wie Sie eine praktische Evaluierungs- und Beobachtungsstrategie für agentische Systeme entwerfen können. Sie werden lernen, was zu messen ist, wie man Agenten während der Entwicklung bewertet, wie man mehrstufige Trajektorien beurteilt und wie man Produktions-Telemetrie und Online-Evaluierungen nutzt, um Fehler zu erkennen und die Zuverlässigkeit zu verbessern.Das Ziel ist es, Ihnen zu helfen, von "der Agent scheint zu funktionieren" zu einem wiederholbaren, evidenzbasierten Ansatz zur Messung der Qualität von Agenten zu gelangen.HINWEIS: Falls Sie das Ticket nicht direkt über Eventbrite kaufen können, können Sie dies über Luma tun. Hier ist der Link: AI Evals and Observability Strategies for Web Developers · LumaWas Sie lernen werdenAm Ende des Workshops werden Sie in der Lage sein:• Zu identifizieren, was in einem agentischen System bewertet werden sollte• Bedeutungsvolle Testfälle und Bewertungskriterien zu entwerfen• Offline-Evaluierungen durchzuführen, bevor Änderungen am Agenten bereitgestellt werden• Die Nutzung von Werkzeugen, Denkprozesse und mehrstufige Ausführungen zu bewerten• Rückverfolgungen und Produktionssignale zu nutzen, um Agentenfehler zu diagnostizieren• Online-Evaluierungen einzuführen, um die Qualität kontinuierlich zu überwachen• Eine wiederholbare Evaluierungsstrategie für Ihre eigenen Agenten aufzubauenWas Sie mitnehmen werdenSie werden erhalten:• Ein praktisches Framework zur Bewertung von KI-Agenten• Informationen zur Auswahl der richtigen Qualitätsmetriken für Agenten• Ansätze für Offline-Bewertungen während der Entwicklung• Techniken zur Beurteilung von Agententrajektorien und Zwischenentscheidungen• Ein klareres Verständnis von Beobachtbarkeit für Produktionsagenten• Strategien zur Kombination von Offline- und Online-Evaluierungen• Best Practices für den Aufbau einer Evaluierungsstrategie, die mit Ihrem Agenten mitwächst• Vollständige Workshop-Aufzeichnung• Zertifikat über den AbschlussWichtiger ist, dass Sie mit dem Vokabular und dem Gespür gehen werden, um über KI-Systeme präziser zu diskutieren, Fehler effektiver zu untersuchen und bessere Entscheidungen beim Aufbau von KI-gestützten Produkten zu treffen.Wer sollte teilnehmen?Dieser Workshop ist ideal für:• Web- und Softwareentwickler, die agentische Anwendungen erstellen• KI-Ingenieure• Plattform- und Backend-Ingenieure• Technische Leiter und Architekten• Teams, die KI-Agenten von Prototypen in die Produktion überführenEr ist besonders nützlich für jeden, der bereits einen Agenten oder einen agentischen Workflow hat und einen systematischeren Ansatz zur Messung, Fehlerbehebung und Verbesserung wünscht.Treffen Sie Ihren DozentenSupreet KaurSr. Gen AI Solutions Architect | AWSSupreet ist Senior GenAI Solutions Architect bei AWS, der Startups hilft, KI-Ideen von der Machbarkeitsstudie in die Produktion zu bringen. Ihre Karriere umfasst Datenwissenschaft, Finanzdienstleistungen und Cloud-KI-Architektur mit Positionen bei ZS Associates, Morgan Stanley, Microsoft und AWS. Sie ist die Autorin des AI Optimization Playbook, Referentin bei über 40 Veranstaltungen, veröffentlichte Vordenkerin und Mitentwicklerin einer patentierten KI-gestützten Personalisierungsteststrategie.