Praktische Product Engineering met Claude Code

In deze sessie bouw je een evaluatieharnas dat definieert wat correct is voordat je een regel ai-code schrijft, herontwerp je een agent met één context tot een orkestrator met gespecialiseerde subagenten en gelaagd modellen, en meet je het kosten- en kwaliteitsverschil tussen de twee. Je gaat weg met het vermogen om te bewijzen dat je agent op solide wijze redeneert in plaats van goed te gokken, en om te wijzen op de cijfers die de uitrol rechtvaardigen. Een cursusplaats is een eenmalige investering. Een slecht gestructureerde agent kan 10 keer de waarde van die plaats verbruiken aan onnodig tokenverbruik op schaal. Mike Hyzy is een Claude Certified Architect die agentische systemen bouwt voor topbedrijven wereldwijd, doceert AI-strategie in het MSAI-programma van Northwestern, leidt innovatieworkshops die worden gepresenteerd op SXSW, en schrijft voor Packt. Wat je zult leren: Tijdens de workshop leer je hoe je: • Definieert wat correct betekent voordat je bouwt, met behulp van gouden datasets, deterministische controles, een gekalibreerde LLM-rechter en trajectbeoordeling. • Het gedrag van een agent en de uiteindelijke antwoorden beoordeelt, zodat je gezond redeneren kunt onderscheiden van een antwoord dat toevallig juist is. • Een Claude-agent met één context bouwt en diagnosticeert, met behulp van gestructureerde output en trajectlogs om te identificeren waar betrouwbaarheid afbreekt. • Een orkestrator-en-subagentarchitectuur ontwerpt, met gespecialiseerde rollen, geïsoleerde contextvensters, beperkte gereedschapsoppervlakken en modelgelaagdheid. • De afweging tussen kwaliteit en kosten meet, en bewijs uit het evaluatieharnas gebruikt om te beslissen welke architectonische wijzigingen het systeem daadwerkelijk verbeteren. • Productiecontroles toepast, inclusief toestemmingregels, leesbare auditsporen, telemetrie, uitgavenplafonds en vijandige testen. • Een op bewijs gebaseerde uitrolbeslissing neemt, met behulp van gemeten nauwkeurigheid, kwaliteit van redeneren, falingsmodi, controles, kosten en resterend risico. Wie deze workshop zou moeten bijwonen: Dit is een geavanceerde, praktische masterclass voor beoefenaars die al met Claude hebben gebouwd of verzonden en nu de moeilijkere productievragen tegenkomen: Hoe weet je dat de agent juist is? Wat is het toegestaan te doen? Welk bewijs zou iemand toelaten om het goed te keuren? Het is het beste geschikt voor: • productmanagers, productingenieurs die verantwoordelijk zijn voor agentische AI-producten of workflows die verder moeten gaan dan prototypen. • Software- en AI-ingenieurs die multi-stap, toolgebruikende of multi-agent systemen met Claude bouwen. • AI-platformingenieurs die herbruikbare agentpatronen, evaluatiemethoden en controles in een organisatie standaardiseren. • Engineeringleiders die autonome systemen beoordelen of goedkeuren en expliciete, verdedigbare criteria nodig hebben. • Oprichters en productteams wiens product afhankelijk is van agentbetrouwbaarheid en die meer nodig hebben dan een gepolijste demo om de uitrol te rechtvaardigen. Deze workshop is niet geschikt voor beginners. Het is geen introductie tot prompting of basisagentbouw. Deelnemers moeten al comfortabel zijn in het gebruik van LLM's buiten een standaard chatinterface en Python-code volgen. Bouw de Agent. Bewijs het daarna. Een agent bouwen is niet langer het moeilijke deel. Het moeilijkere probleem is bewijzen dat een vloeiende, zelfverzekerde output daadwerkelijk wordt ondersteund door een betrouwbaar proces. Conventionele softwaretests zijn niet genoeg voor analytische agenten: verschillende output kunnen geldig zijn, en een er goed uitziend antwoord kan nog steeds worden geproduceerd door uitgevonden redenering. Dat laat bouwer zonder bewijs, goedkeurders zonder criteria, en veelbelovende agenten vast in prototype. Deze masterclass draait de gebruikelijke ontwikkelingsvolgorde om. Je bouwt eerst het meetapparaat. Elke architectonische beslissing die daarop volgt, wordt vervolgens getest tegen een vaste, zichtbare standaard. Het praktische systeem: een risicobeoordelingsagent voor derde partijen. De agent verwerkt een vendor security- en contractpakket - waaronder een SOC 2-rapport, gegevensverwerkingsovereenkomst, master service-overeenkomst en voltooide veiligheidsvragenlijst - en beoordeelt het tegen de controle standaard van een organisatie. Het retourneert een gestructureerd risicomemo met bevindingen, ernst, geschonden controles, bewijs en aanbevelingen. De oefening is zo ontworpen dat sommige bevindingen alleen kunnen worden ontdekt door bewijs uit verschillende documenten te combineren. Dat maakt correcte antwoorden onderscheidbaar van gelukkige antwoorden en geeft het evaluatieharnas iets betekenisvols om te meten. Hetzelfde orkestratie-, evaluatie- en controlepatroon wordt overgebracht naar andere analytische workloads van meerdere documenten, zoals contractbeoordeling, concurrentie-intelligentie, regelgevingsmonitoring en claimsbeoordeling. Wat je mee zult nemen: Je gaat weg met praktische activa die je kunt aanpassen aan je eigen agentische AI-projecten: • Een werkende repository waarop je na de workshop je eigen documentsets kunt aanwijzen. • Een herbruikbare methode voor het definiëren van correctheid voordat de ontwikkeling begint. • Een gescoorde evaluatieharnas dat een met de hand geschreven gouden set, deterministische controles, een LLM-rechter en redeneringspadbeoordeling combineert. • Een orkestrator-en-subagent architectuur met geïsoleerde contexten en beperkte toegang tot tools. • Een praktische productiecontrolelaag die dekking biedt voor machtigingen, controleerbaarheid, kostenlimieten en falingsbehandeling. • Een herhaalbare vijandige testbenadering om te controleren of documenten of invoer de agent buiten zijn bedoelde grenzen kunnen manipuleren. • Een eenpagina beoordeling van de uitrol met jouw eigen gemeten cijfers voor nauwkeurigheid, soliditeit van redeneren, falingsmodi, controles, kosten en resterend risico.