Поза моделлю: агенти, верифікація та контрольні площини

Творча частина 1: Dogwood: нова мова для безпеки агентів Ми нещодавно запустили Dogwood, нову мову, призначену для опису того, що можуть робити агенти, і коли вони можуть це робити. Dogwood є відкритим програмним забезпеченням, і ви можете почати використовувати його вже сьогодні. У цій доповіді я розповім, що таке Dogwood і чому ми його створили, розгляну деякі теоретичні основи (логіка першого порядку) і опишу, як масштабоване хмарне середовище Dogwood компілює Dogwood у SQL і використовує Aurora DSQL для створення швидких, масштабованих, станвих політик. Творча частина 2: Evals - це новий чорний ящик Оцінка кодувальних агентів є складнішою, ніж здається на перший погляд. Вибір моделі і обґрунтування зусиль - це лише початок. Кодові ремесла вводять додаткові змінні через запити, інструменти, з'єднувачі, пам'ять і стан між сесіями. Відтворити результат також складно. Агенти можуть виявляти попередні рішення, успадковувати стан від попередніх запусків, отримувати вигоду з повторного використання KV-кешу або покладатися на інструменти, виходи яких змінюються з часом. Ремесла і моделі еволюціонують незалежно, тому техніки, які покращують одну комбінацію, можуть не мати великої цінності для іншої. Ця доповідь розглядає оцінку агентів як системну проблему. Ми розглянемо практичні виклики ізоляції, відтворюваності, вимірювання та порівняння, а також уроки, отримані під час створення системи оцінки для реальних кодових робочих процесів. Дякую Антитезі за можливість організації цього заходу. Про доповідачів Марс Брукер - віце-президент і видатний інженер в AWS. Під час своїх 16 років в AWS Марс працював над EC2, EBS, Lambda і нещодавно очолив команду, яка запустила Aurora DSQL. Наразі він зосереджений на інфраструктурі для агентного ІІ та доступності і безпеці наших масштабних систем. Перед AWS Марс завершив свій ступінь PhD в університеті Кейптауна. Хаважа Шамс - генеральний директор і співзасновник Momento. Раніше він керував DynamoDB в AWS і був науковцем в Лабораторії реактивного руху NASA. Він отримав медаль NASA за ранню кар'єру за свою роботу над марсоходами. Він захоплюється інфраструктурою даних в реальному часі та екосистемою Valkey, любить ретельну характеристику високопродуктивних систем і моделей ІІ. Даніела Міао - CTO і співзасновник Momento. Раніше вона керувала метриками в Lightstep, який був придбаний ServiceNow. Вона любить спостережність і прилади як інструменти для покращення продуктивності. Вона залежна від досягнення латентності 100 мкc для великих навантажень по мережі EC2.