Além do Modelo: Agentes, Verificação e Planos de Controle

Talk 1: Dogwood: Uma nova linguagem para segurança de agentes Recentemente lançamos o Dogwood, uma nova linguagem projetada para descrever o que os agentes podem fazer e quando podem fazê-lo. O Dogwood é de código aberto e você pode usá-lo hoje. Nesta palestra, vou abordar o que é o Dogwood e por que o construímos, discutir algumas das fundações teóricas (lógica temporal de primeira ordem) e descrever como o backend escalável em nuvem do Dogwood compila Dogwood em SQL e utiliza Aurora DSQL para construir políticas rápidas, escaláveis e com estado. Talk 2: Evals É o Novo Preto (Box) Avaliar agentes de codificação é mais difícil do que parece. Escolher um modelo e o esforço de raciocínio é apenas o começo. Harnesses de codificação introduzem variáveis adicionais através de prompts, ferramentas, conectores, memória e estado entre sessões. Reproduzir um resultado também é difícil. Os agentes podem descobrir soluções anteriores, herdar estado de execuções anteriores, beneficiar-se da reutilização de KV-cache ou depender de ferramentas cujos resultados mudam ao longo do tempo. Harnesses e modelos evoluem de forma independente, então técnicas que melhoram uma combinação podem ter pouco valor para outra. Esta palestra analisa a avaliação de agentes como um problema de sistemas. Abordaremos os desafios práticos de isolamento, reprodutibilidade, medição e comparação, juntamente com lições aprendidas ao construir um sistema de avaliação para fluxos de trabalho de codificação reais. Obrigado, Antithesis, por tornar este evento possível. Sobre os Palestrantes Marc Brooker é VP e Engenheiro Distinto na AWS. Durante seus 16 anos na AWS, Marc trabalhou no EC2, EBS, Lambda e, mais recentemente, liderou a equipe que lançou Aurora DSQL. Ele está atualmente focado em infraestrutura para IA agentiva e na disponibilidade e segurança de nossos sistemas em grande escala. Antes da AWS, Marc concluiu seu PhD na Universidade da Cidade do Cabo. Khawaja Shams é o CEO e cofundador da Momento. Anteriormente, ele liderou o DynamoDB na AWS e foi cientista no Laboratório de Propulsão a Jato da NASA. Ele recebeu a Medalha NASA de Início de Carreira por seu trabalho nos rovers de Marte. Viciado em infraestrutura de dados em tempo real e no ecossistema Valkey, ele ama a caracterização rigorosa de sistemas de alto desempenho e modelos de IA. Daniela Miao é a CTO e cofundadora da Momento. Anteriormente, ela liderou métricas na Lightstep, que foi adquirida pela ServiceNow. Ela ama observabilidade e instrumentação como ferramentas para impulsionar melhorias de desempenho. Ela é viciada em buscar latências de 100 µs para grandes cargas de trabalho na rede EC2.