Voorbij het Model: Agents, Verificatie & Controleplannen

Talk 1: Dogwood: Een nieuwe taal voor agentveiligheid We hebben onlangs Dogwood gelanceerd, een nieuwe taal die is ontworpen om te beschrijven wat agenten kunnen doen, en wanneer ze dat kunnen doen. Dogwood is open source en je kunt het vandaag gebruiken. In deze presentatie zal ik behandelen wat Dogwood is en waarom we het hebben gebouwd, enkele van de theoretische fundamenten (eerste-orde temporele logica) bespreken, en beschrijven hoe de schaalbare cloud backend van Dogwood Dogwood compileert naar SQL en Aurora DSQL gebruikt om snelle, schaalbare, stateful beleidsregels op te bouwen. Talk 2: Evals Is het Nieuwe Zwart (Doos) Het evalueren van coderende agenten is moeilijker dan het op het eerste gezicht lijkt. Het kiezen van een model en de redeneringsinspanning is slechts het begin. Coderingstechnieken introduceren extra variabelen via prompts, tools, connectors, geheugen en sessie-overstijgende status. Het reproduceren van een resultaat is ook moeilijk. Agenten kunnen eerdere oplossingen ontdekken, status overnemen van eerdere runnen, profiteren van KV-cache hergebruik, of afhankelijk zijn van tools waarvan de uitvoer in de loop van de tijd verandert. Harnassen en modellen evolueren onafhankelijk, dus technieken die één combinatie verbeteren, hebben mogelijk weinig waarde voor een andere. Deze presentatie beschouwt agentevaluatie als een systeempunt. We zullen de praktische uitdagingen van isolatie, reproduceerbaarheid, meting en vergelijking behandelen, samen met lessen uit het bouwen van een evaluatiesysteem voor echte coderingsworkflows. Bedankt Antithesis voor het mogelijk maken van dit evenement. Over de Sprekers Marc Brooker is een VP en Distinguished Engineer bij AWS. Gedurende zijn 16 jaar bij AWS heeft Marc gewerkt aan EC2, EBS, Lambda, en leidde recentelijk het team dat Aurora DSQL lanceerde. Hij richt zich momenteel op infrastructuur voor agentische AI, en de beschikbaarheid en beveiliging van onze grootschalige systemen. Voor AWS voltooide Marc zijn PhD aan de Universiteit van Kaapstad. Khawaja Shams is de CEO en medeoprichter van Momento. Voorheen leidde hij DynamoDB bij AWS en was hij een wetenschapper bij NASA's Jet Propulsion Laboratory. Hij ontving de NASA Early Career Medal voor zijn werk aan de Marsrovers. Verslaafd aan real-time datainfrastructuur en het Valkey-ecosysteem, houdt hij van rigoureuze karakterisering van high-performance systemen en AI-modellen. Daniela Miao is de CTO en medeoprichter van Momento. Voorheen leidde ze metrics bij Lightstep, dat werd overgenomen door ServiceNow. Ze houdt van observeerbaarheid en instrumentatie als middelen voor het verbeteren van prestaties. Ze is verslaafd aan het najagen van 100 µs latenties voor grote payloads over het EC2-netwerk.