Au-delà du modèle : Agents, vérification et plans de contrôle

Talk 1 : Dogwood : Un nouveau langage pour la sécurité des agents Nous avons récemment lancé Dogwood, un nouveau langage conçu pour décrire ce que les agents peuvent faire et quand ils peuvent le faire. Dogwood est open source, et vous pouvez l'utiliser dès aujourd'hui. Dans cette présentation, je vais couvrir ce qu'est Dogwood et pourquoi nous l'avons construit, aborder certaines des bases théoriques (logique temporelle du premier ordre) et décrire comment le backend cloud évolutif de Dogwood compile Dogwood en SQL et utilise Aurora DSQL pour construire des politiques rapides, évolutives et avec état. Talk 2 : Evals est le nouveau noir (boîte) Évaluer les agents de codage est plus difficile qu'il n'y paraît. Choisir un modèle et l'effort de raisonnement n'est que le début. Les harnais de codage introduisent des variables supplémentaires à travers des invites, des outils, des connecteurs, de la mémoire et un état intersession. Reproduire un résultat est également difficile. Les agents peuvent découvrir des solutions antérieures, hériter d'un état d'exécutions précédentes, bénéficier de la réutilisation des caches KV, ou dépendre d'outils dont les sorties changent au fil du temps. Les harnais et les modèles évoluent indépendamment, donc les techniques qui améliorent une combinaison peuvent avoir peu de valeur pour une autre. Cette présentation examine l'évaluation des agents comme un problème de système. Nous aborderons les défis pratiques d'isolement, de reproductibilité, de mesure et de comparaison, ainsi que les leçons tirées de la construction d'un système d'évaluation pour des flux de travail de codage réels. Merci à Antithesis de rendre cet événement possible. À propos des intervenants Marc Brooker est VP et Ingénieur Distingué chez AWS. Au cours de ses 16 années chez AWS, Marc a travaillé sur EC2, EBS, Lambda, et a récemment dirigé l'équipe qui a lancé Aurora DSQL. Il se concentre actuellement sur l'infrastructure pour l'IA agentique, et sur la disponibilité et la sécurité de nos systèmes à grande échelle. Avant AWS, Marc a obtenu son doctorat à l'Université de Cape Town. Khawaja Shams est le PDG et co-fondateur de Momento. Auparavant, il a dirigé DynamoDB chez AWS et était un scientifique au Jet Propulsion Laboratory de la NASA. Il a reçu la Médaille de carrière précoce de la NASA pour son travail sur les rovers martiens. Accro aux infrastructures de données en temps réel et à l'écosystème Valkey, il aime la caractérisation rigoureuse des systèmes haute performance et des modèles d'IA. Daniela Miao est la CTO et co-fondatrice de Momento. Auparavant, elle a dirigé les métriques chez Lightstep, qui a été acquis par ServiceNow. Elle adore l'observabilité et l'instrumentation en tant qu'outils pour améliorer les performances. Elle est accro à la chasse aux latences de 100 µs pour de grands chargements à travers le réseau EC2.