Автономные системы: Построение инфраструктуры, которая думает и адаптируется

Описание

Доклад 1: Агентные системы как распределенные системы Долговечные агентные системы становятся предметом растущего объема исследований. Существует повторяющийся набор примитивов: детерминированная оркестрация вокруг вероятностных акторов, долговечное общее состояние, которое переживает временные окна контекста, и верификационные ворота, которые ловят ошибки прогресса до того, как они станут критическими. Основываясь на годе разработки агентной системы, которая генерирует и оптимизирует временные характеристики вывода LLM для аппаратного обеспечения Arm от облака до края, мы проходим по тому, как эти примитивы реализуются на практике: неизменяемый журнал экспериментов с прикрепленными причинами продвижения, база знаний, которая должна оставаться последовательной между перезапусками и обновлениями модели, и ворота корректности, строго упорядоченные перед воротами производительности. Мы описываем конкретные режимы сбоя — ошибочная корректность, конкуренция журналов, дрейф базы знаний — и техники распределенных систем, которые сохраняли честность системы. Доклад 2: Почему ИИ нужны полисторы Приложения развиваются. Базы данных остаются замороженными во времени. Каждое приложение начинается с решения о хранении данных. Мы выбираем базу данных, исходя из сегодняшних требований, а затем проводим годы, строя вокруг этого выбора. Но приложения редко стоят на месте. Добавляются новые функции, изменяются шаблоны доступа, данные растут, и появляются совершенно новые рабочие нагрузки. Однако база данных остается ограниченной архитектурными решениями, принятыми давно, потому что изменение механизмов хранения дорого, рискованно и часто требует переписывания приложения. Что если бы базы данных могли развиваться вместе с вашим приложением? Что если бы они могли постоянно отслеживать шаблоны рабочих нагрузок, понимать семантику приложения, рекомендовать лучший механизм хранения для каждой выборки данных и непрозрачно мигрировать данные по мере изменения рабочих нагрузок? До недавнего времени эта перспектива была недоступна. Выбор правильного механизма хранения требует понимания нюансов и компромиссов многих различных механизмов хранения, каждый из которых имеет свою архитектуру, характеристики производительности и сложность эксплуатации. Очень немногие инженеры обладают таким широким кругозором. Недавние достижения в области ИИ делают возможным захват этих знаний, анализ рабочих нагрузок приложений и автоматизацию выбора и миграции данных в масштабах, которые ранее были непрактичны. В этом докладе мы рассмотрим, почему полисторы — это правильная архитектура для этого будущего. Мы обсудим, как ИИ может анализировать рабочие нагрузки, направлять запросы к наиболее подходящему механизму хранения, рекомендовать или автоматизировать миграции данных по мере эволюции приложений и представлять единую логическую базу данных для разработчиков. Наконец, мы продемонстрируем эти идеи через KalDB, автономный полистор, который адаптируется к приложениям, а не заставляет приложения адаптироваться к своим базам данных. О докладчиках Томас Коттенир — старший главный инженер в Arm, работающий над платформами для разработчиков и ИИ-сервисами в облачных и крайних средах. Ранее он работал главным инженером в AWS, где внес вклад в инструменты для разработчиков с поддержкой ИИ, включая CodeWhisperer, Amazon Q и Kiro. Он имеет степень доктора философии в области компьютерных наук в области языков программирования и программной инженерии и более 20 лет опыта в области компиляторов, генерации кода и ускорения ИИ. Суман Карумури — главный инженер, специализирующийся на распределенных системах, базах данных и масштабной поисковой инфраструктуре. За последние два десятилетия он построил инфраструктуру в Airbnb, Slack, Twitter, Meta, Amazon, Microsoft, Yahoo и Goldman Sachs. Его работа включает руководство платформой наблюдаемости нового поколения в Airbnb, проектирование безсерверного поискового бэкенда Slack и совместное авторство спецификации OpenTracing. В настоящее время он строит инфраструктуру баз данных нового поколения, сосредоточенную на автономных полисторах, которые используют ИИ для оптимизации размещения данных, выполнения запросов и эволюции хранения среди различных механизмов хранения. Спасибо Arm за спонсорство мероприятия.