Más allá del modelo: Agentes, Verificación y Planos de Control

Charla 1: Dogwood: Un nuevo lenguaje para la seguridad de los agentes Recientemente lanzamos Dogwood, un nuevo lenguaje diseñado para describir lo que los agentes pueden hacer y cuándo pueden hacerlo. Dogwood es de código abierto, y puedes usarlo hoy. En esta charla cubriré qué es Dogwood y por qué lo construimos, revisaré algunos de los fundamentos teóricos (lógica temporal de primer orden) y describiré cómo el backend escalable en la nube de Dogwood compila Dogwood a SQL y utiliza Aurora DSQL para construir políticas rápidas, escalables y con estado. Charla 2: Evals es el nuevo negro (caja) Evaluar agentes de codificación es más difícil de lo que parece a simple vista. Elegir un modelo y el esfuerzo de razonamiento es solo el comienzo. Los arneses de codificación introducen variables adicionales a través de prompts, herramientas, conectores, memoria y estado entre sesiones. Reproducir un resultado también es difícil. Los agentes pueden descubrir soluciones previas, heredar estado de ejecuciones anteriores, beneficiarse de la reutilización de la caché de KV, o depender de herramientas cuyos resultados cambian con el tiempo. Los arneses y modelos evolucionan de manera independiente, por lo que las técnicas que mejoran una combinación pueden tener poco valor para otra. Esta charla examina la evaluación de agentes como un problema de sistemas. Cubriremos los desafíos prácticos de aislamiento, reproducibilidad, medición y comparación, junto con lecciones aprendidas de la construcción de un sistema de evaluación para flujos de trabajo de codificación reales. Gracias a Antithesis por hacer posible este evento. Sobre los ponentes Marc Brooker es VP e Ingeniero Distinguido en AWS. Durante sus 16 años en AWS, Marc ha trabajado en EC2, EBS, Lambda, y más recientemente lideró el equipo que lanzó Aurora DSQL. Actualmente se centra en la infraestructura para IA agente y la disponibilidad y seguridad de nuestros sistemas a gran escala. Antes de AWS, Marc completó su doctorado en la Universidad de Ciudad del Cabo. Khawaja Shams es el CEO y cofundador de Momento. Anteriormente, lideró DynamoDB en AWS y fue científico en el Laboratorio de Propulsión a Chorro de la NASA. Recibió la Medalla a la Carrera Temprana de la NASA por su trabajo en los rovers de Marte. Adicto a la infraestructura de datos en tiempo real y el ecosistema Valkey, le encanta la caracterización rigurosa de sistemas de alto rendimiento y modelos de IA. Daniela Miao es la CTO y cofundadora de Momento. Anteriormente, dirigió métricas en Lightstep, que fue adquirida por ServiceNow. Le encanta la observabilidad y la instrumentación como herramientas para impulsar mejoras en el rendimiento. Es adicta a perseguir latencias de 100 µs para grandes cargas a través de la red de EC2.