За пределами модели: агенты, верификация и управляющие плоскости

Доклад 1: Dogwood: Новый язык для безопасности агентов Мы недавно запустили Dogwood, новый язык, предназначенный для описания того, что могут делать агенты и когда они могут это делать. Dogwood является открытым программным обеспечением, и вы можете использовать его уже сегодня. В этом докладе я расскажу, что такое Dogwood и почему мы его создали, разберу некоторые теоретические основы (логика первого порядка с временными аспектами) и опишу, как облачная архитектура Dogwood компилирует Dogwood в SQL и использует Aurora DSQL для создания быстрых, масштабируемых, состояниевых политик. Доклад 2: Evals – это новый черный (ящик) Оценка кодирующих агентов сложнее, чем кажется на первый взгляд. Выбор модели и усилия по аргументации – это только начало. Кодирующие систему вводят дополнительные переменные через подсказки, инструменты, соединители, память и состояние между сессиями. Воспроизвести результат также сложно. Агенты могут обнаруживать ранее полученные решения, наследовать состояние от предыдущих запусков, получать преимущества от повторного использования KV-кэша или зависеть от инструментов, выходные данные которых со временем изменяются. Харассы и модели развиваются независимо, поэтому техники, которые улучшают одну комбинацию, могут оказаться малоценными для другой. Этот доклад рассматривает оценку агентов как системную проблему. Мы рассмотрим практические сложности изоляции, воспроизводимости, измерения и сравнения, а также уроки, извлеченные при создании системы оценки для реальных кодирующих рабочих процессов. Спасибо Antithesis за возможность провести это мероприятие. О спикерах Марс Брукер – вице-президент и выдающийся инженер в AWS. На протяжении 16 лет работы в AWS Марс работал над EC2, EBS, Lambda, а недавно возглавил команду, которая запустила Aurora DSQL. В настоящее время он сосредоточен на инфраструктуре для агентного ИИ и доступности и безопасности наших крупномасштабных систем. Перед работой в AWS Марс защитил докторскую диссертацию в Университете Кейптауна. Хаваджа Шамс – генеральный директор и соучредитель Momento. Ранее он возглавлял DynamoDB в AWS и работал ученым в Лаборатории реактивного движения NASA. Он получил медаль NASA Early Career за свою работу над марсоходами. Увлеченный инфраструктурой в реальном времени и экосистемой Valkey, он любит строгую характеристику высокопроизводительных систем и моделей ИИ. Даниэла Мяо – технический директор и соучредитель Momento. Ранее она возглавляла метрики в Lightstep, который был приобретен ServiceNow. Ей нравится наблюдаемость и инструментирование как средства для повышения производительности. Она одержима стремлением достичь задержек в 100 мкс для крупных пакетов по сети EC2.