AI-Evaluierungen und Beobachtungsstrategien für Entwickler

Der Aufbau eines KI-Agents für Ihre Anwendung ist nur der Anfang. Die größere Herausforderung besteht darin, zu wissen, ob er tatsächlich gut funktioniert, sobald er plant, Tools aufruft, Entscheidungen trifft und über mehrere Schritte hinweg operiert.Dieser Workshop zeigt Ihnen, wie Sie eine praktische Evaluations- und Beobachtungsstrategie für agentische Systeme entwerfen. Sie erfahren, was gemessen werden sollte, wie man Agenten während der Entwicklung bewertet, wie man mehrstufige Abläufe bewertet und wie man Produktions-Telemetrie und Online-Evaluierungen nutzt, um Fehler zu erkennen und die Zuverlässigkeit zu verbessern.Das Ziel ist es, Ihnen zu helfen, von „der Agent scheint zu funktionieren“ zu einem wiederholbaren, evidenzbasierten Ansatz zur Messung der Qualität von Agenten zu gelangen.HINWEIS: Falls Sie das Ticket nicht direkt über Eventbrite erwerben können, haben Sie die Möglichkeit, dies über Luma zu tun. Hier ist der Link: AI-Evaluierungen und Beobachtungsstrategien für Webentwickler · LumaWas Sie lernen werdenAm Ende des Workshops werden Sie in der Lage sein:• Zu identifizieren, was in einem agentischen System bewertet werden sollte• Sinnvolle Testfälle und Bewertungskriterien zu entwerfen• Offline-Evaluierungen durchzuführen, bevor Änderungen am Agenten bereitgestellt werden• Die Nutzung von Tools, Denkpfade und mehrstufige Ausführungen zu bewerten• Spuren und Produktionssignale zu verwenden, um Fehler bei der Agentennutzung zu diagnostizieren• Online-Evaluierungen einzuführen, um die Qualität kontinuierlich zu überwachen• Eine wiederholbare Evaluationsstrategie für Ihre eigenen Agenten aufzubauenWas Sie mitnehmen werdenSie erhalten:• Ein praktisches Rahmenwerk zur Bewertung von KI-Agenten• Leitlinien zur Auswahl der richtigen Qualitätsmetriken für Agenten• Ansätze zur Offline-Evaluierung während der Entwicklung• Techniken zur Bewertung von Agenten-Abläufen und Zwischenentscheidungen• Ein klareres Verständnis von Beobachtbarkeit für Produktionsagenten• Strategien zur Kombination von Offline- und Online-Evaluation• Best Practices zum Erstellen einer Evaluationsstrategie, die mit Ihrem Agenten wächst• Vollständige Aufzeichnung des Workshops• TeilnahmebescheinigungWichtiger noch, Sie werden mit dem Vokabular und dem Gespür ausgestattet, um über KI-Systeme präziser zu sprechen, Fehler effektiver zu untersuchen und bessere Entscheidungen beim Aufbau KI-gestützter Produkte zu treffen.Wer sollte teilnehmen?Dieser Workshop ist ideal für:• Web- und Softwareentwickler, die agentische Anwendungen entwickeln• KI-Ingenieure• Plattform- und Backend-Entwickler• Technische Leiter und Architekten• Teams, die KI-Agenten von Prototypen in die Produktion überführenEr ist besonders nützlich für jeden, der bereits einen Agenten oder einen agentischen Workflow hat und eine systematischere Möglichkeit sucht, diesen zu messen, zu debuggen und zu verbessern.Ihr KursleiterSupreet KaurSr. Gen AI Solutions Architect | AWSSupreet ist Senior GenAI Solutions Architect bei AWS und hilft Startups dabei, KI-Ideen von der Machbarkeitsstudie in die Produktion zu bringen. Ihre Karriere erstreckt sich über Datenwissenschaft, Finanzdienstleistungen und Cloud-AI-Architektur, mit Positionen bei ZS Associates, Morgan Stanley, Microsoft und AWS. Sie ist Autorin des AI Optimization Playbook, Rednerin bei über 40 Veranstaltungen, veröffentlichte Vordenkerin und Miterfinderin einer patentierten KI-gestützten Personalisierungs-Teststrategie.