Автономні системи: побудова інфраструктури, що мислить і адаптується

Опис

Доповідь 1: Агентські каркаси як розподілені системи Довготривалі агентські каркаси є предметом зростаючої кількості досліджень. Спільний набір примітивів постійно повторюється: детерміноване оркестрування навколо ймовірнісних акторів, стійкий спільний стан, що переживає вікна контексту, і ворота перевірки, які ловлять ілюзорний прогрес, перш ніж він накопичується. Спираючись на рік роботи над агентським каркасом, що генерує та оптимізує LLM інферентні часи для апаратного забезпечення Arm від хмари до краю, ми пройдемося по тому, як ці примітиви реалізуються на практиці: незмінний експериментальний реєстр з причинами просування, база знань, що повинна залишатися узгодженою між перезапусками та оновленнями моделі, та ворота правильності, що суворо розташовані перед показниками продуктивності. Ми описуємо конкретні моди відмови — ілюзорна правильність, суперечка реєстру, відхилення бази знань — та техніки розподілених систем, які підтримували чесність каркаса. Доповідь 2: Чому ШІ потребує полімерів Застосунки еволюціонують. Бази даних залишаються замороженими в часі. Кожен застосунок починається з рішення про зберігання. Ми обираємо базу даних на основі сьогоднішніх вимог, а потім витрачаємо роки на будівництво навколо цього вибору. Але застосунки рідко залишаються на місці. Додаються нові функції, змінюються шаблони доступу, дані зростають, і з'являються цілком нові навантаження. Проте база даних залишається обмеженою рішень архітектури, прийнятих давно, оскільки зміна механізмів зберігання є дорогою, ризикованою і часто вимагає переписування застосунку. Що якби бази даних могли еволюціонувати разом з вашим застосунком? Що якби вони могли постійно спостерігати шаблони навантажень, розуміти семантику застосунку, рекомендувати найкращий механізм зберігання для кожного набору даних і прозоро переносити дані, коли навантаження змінюються? Досі ця візія була недосяжною. Вибір правильного механізму зберігання вимагає розуміння тонкощів і компромісів багатьох різних механізмів зберігання, кожен з яких має свою архітектуру, характеристики продуктивності та оперативну складність. Дуже мало інженерів володіють такою широкою експертизою. Нещодавні досягнення у ШІ роблять можливим захоплення цих знань, обдумування навантажень застосунків та автоматизацію вибору та міграції зберігання в масштабах, які раніше були непрактичними. У цій доповіді ми дослідимо, чому полімери є правильною архітектурою для цього майбутнього. Ми обговоримо, як ШІ може аналізувати навантаження, маршрутизувати запити до найбільш відповідного механізму зберігання, рекомендувати або автоматизувати міграцію даних у міру еволюції застосунків і представляти єдину логічну базу даних для розробників. Нарешті, ми продемонструємо ці ідеї через KalDB, автономний полімер, який адаптується до застосунків замість того, щоб змушувати застосунки адаптуватися до своїх баз даних. Про доповідачів Томас Коттенір є старшим головним інженером в Arm, працюючи над платформами для розробників та службами ШІ в рамках країв і хмарних середовищ. Раніше він обіймав посаду головного інженера в AWS, де він сприяв розробці інструментів для розробників на основі ШІ, включаючи CodeWhisperer, Amazon Q та Kiro. Він має ступінь доктора філософії в комп'ютерних науках в галузі мов програмування та програмної інженерії та має понад 20 років досвіду в таких сферах, як компілятори, генерація коду та прискорення ШІ. Суман Курумурі є головним інженером, який спеціалізується на розподілених системах, базах даних та інфраструктурі великого масштабу для пошуку. Протягом останніх двох десятиліть він будував інфраструктуру в Airbnb, Slack, Twitter, Meta, Amazon, Microsoft, Yahoo та Goldman Sachs. Його робота включає керівництво платформою спостереження наступного покоління Airbnb, архітектуру безсерверного пошукового бекенду Slack та спільну авторську розробку специфікації OpenTracing. В даний час він створює інфраструктуру бази даних наступного покоління, зосереджуючи увагу на автономних полімері, які використовують ШІ для оптимізації розміщення даних, виконання запитів та еволюції зберігання через гетерогенні механізми зберігання. Дякуємо Arm за спонсорство заходу.