AI Evals en Observabiliteitsstrategieën voor Webontwikkelaars

Een AI-agent voor uw applicatie bouwen is slechts het begin. De grotere uitdaging is om te weten of deze daadwerkelijk goed functioneert zodra hij begint te plannen, tools aanroept, beslissingen neemt en opereert over meerdere stappen.Deze workshop laat u zien hoe u een praktische evaluatie- en observabiliteitsstrategie voor agentische systemen ontwerpt. U leert wat u moet meten, hoe u agents tijdens de ontwikkeling kunt evalueren, hoe u multi-step trajecten kunt beoordelen en hoe u productie-telemetrie en online evaluaties kunt gebruiken om fouten te detecteren en de betrouwbaarheid te verbeteren.Het doel is u te helpen van “de agent lijkt te werken” naar een herhaalbare, op bewijs gebaseerde aanpak voor het meten van de kwaliteit van agents.Wat u zult lerenAan het einde van de workshop kunt u:• Identificeren wat geëvalueerd moet worden in een agentisch systeem• Betekenisvolle testgevallen en evaluatiecriteria ontwerpen• Offline evaluaties uitvoeren voordat u aanpassingen aan de agent implementeert• Toolgebruik, redeneerpaden en multi-step uitvoering evalueren• Traces en productie-signalen gebruiken om fouten bij agents te diagnosticeren• Online evaluaties introduceren om de kwaliteit continu te monitoren• Een herhaalbare evaluatiestrategie voor uw eigen agents opbouwenWat u mee naar huis krijgtU ontvangt:• Een praktisch kader voor het evalueren van AI-agents• Richtlijnen voor het kiezen van de juiste kwaliteitsmetricen voor agents• Benaderingen voor offline evaluatie tijdens de ontwikkeling• Technieken voor het beoordelen van agenttrajecten en tussentijdse beslissingen• Een beter begrip van observabiliteit voor productieagents• Strategieën voor het combineren van offline en online evaluatie• Best practices voor het opbouwen van een evaluatiestrategie die evolueert met uw agent• Volledige opname van de workshop• Certificaat van deelnameBelangrijker nog, u zult vertrekken met de woordenschat en intuïtie om AI-systemen nauwkeuriger te bespreken, fouten effectiever te onderzoeken en betere beslissingen te nemen bij het bouwen van AI-gestuurde producten.Wie moet deelnemen?Deze workshop is ideaal voor:• Web- en softwareontwikkelaars die agentische applicaties bouwen• AI-ingenieurs• Platform- en backend-ingenieurs• Technische leads en architecten• Teams die AI-agents van prototype naar productie verplaatsenHet is vooral nuttig voor iedereen die al een agent of agentisch werkproces heeft en een systematischer manier wil om dit te meten, te debuggen en te verbeteren.Ontmoet uw instructeurSupreet KaurSr. Gen AI Solutions Architect | AWSSupreet is een Senior GenAI Solutions Architect bij AWS, die startups helpt AI-ideeën van proof of concept naar productie te brengen. Haar carrière omvat data science, financiële diensten en cloud-AI-architectuur, met functies bij ZS Associates, Morgan Stanley, Microsoft en AWS. Ze is de auteur van The AI Optimization Playbook, spreker op meer dan 40 evenementen, een gepubliceerde thought leader en mede-uitvinder van een gepatenteerde AI-gestuurde personalisatieteststrategie.