SF Systems: Research to Practice, from Inference Engines to Multimodal Coding

Клуб SF Systems знову проводить пару захоплюючих виступів від дослідників, які переносять передову науку в реальний світ! Чи є ви досвідченим експертом з інференції або ентузіастом програмних мов, ви багато дізнаєтеся на цьому заході. Цю зустріч щедро проводять LatchBio у своєму офісі в Сан-Франциско. Їжа та напої будуть надані! Агентство Виступи Шрея Шанкар (CMU): Специфічна для домену інференція LLM для AI-SQL Користувачі бази даних вже давно хочуть запитувати неструктурований текст, і LLM нарешті зробили це можливим. Основні постачальники тепер підтримують AI-SQL, який додає фільтри, з'єднання, карти та класифікатори з підтримкою ШІ до SQL. Для виконання запитів AI-SQL бази даних знижують ці запити до планів з одним викликом LLM на рядок, або, для з'єднань, на кортеж у перетворенні. Навіть після оптимізації запитів, можуть залишитися сотні тисяч або мільйони викликів! Теоретично, інференційні механізми повинні бути фантастичними для цього навантаження, оскільки кожен виклик є майже повністю заповненим і повертає лише кілька токенів. Здивуючо, загальнопридатні інференційні механізми займають набагато більше часу, ніж очікувалося, оскільки їх кеші KV не знають, що запит буде повторно використовувати, і обробка такої кількості запитів додає високе навантаження на хост. Ми використовуємо ці обмеження, щоб мотивувати Quail, відкритий інструмент запитів для AI-SQL, який будує наша лабораторія. Ми описуємо планувальник та механізм виконання Quail, показуємо попередні захоплюючі результати та закінчуємо кількома захоплюючими відкритими проблемами (і, благаючи про допомогу від експертів з інференції). Паркер Зайглер (UC Berkeley): Інтерактивні, мультимодальні системи програмування Величезна більшість систем програмування надає розробникам одну модальність для написання коду: редагування тексту. Редагування тексту є надзвичайно виразним, але для програмних доменів з багатими візуальними виходами — такими як візуалізація даних, графіка та обробка зображень — йому не вистачає живого зворотного зв'язку та можливостей безпосереднього маніпулювання, які блискуче працюють у таких інструментах, як Figma, Photoshop або Blender. Як ми можемо спроектувати системи програмування, які об'єднують найкращі елементи редагування тексту з безпосереднім маніпулюванням, природною мовою та іншими модальностями вводу, дозволяючи розробникам використовувати правильну модальність в потрібний момент? Цей виступ висвітлить кілька систем з моїх досліджень на доктораті, з особливим акцентом на те, як старі та нові ідеї з досліджень компіляторів можуть ефективно переноситися на нові види інтерактивних, мультимодальних систем програмування.