Система генерації, що використовує дані в режимі майже реального часу (RAG)

Системи генерації, що використовують дані в режимі майже реального часу (RAG) у масштабах за допомогою Java. RAG - це шаблон, який використовується для підвищення точності LLM та мінімізації ілюзій штучного інтелекту. Але більшість реалізацій є мішаною сумішшю пакетних завдань з векторизації, зовнішніх баз даних векторів, брокерів повідомлень, різноманітних служб і ненадійного коду-зчеплення. Результат передбачуваний: вища затримка, складніші та дорожчі операції. У цій доповіді ви побачите архітектуру потокової RAG, побудовану нативно на Java: безперервне впровадження та перетворення за допомогою розподілених DAG-потоків, горизонтально масштабована векторна інференція та розподілені колекції векторів у пам'яті для семантичного пошуку за мілісекунди. Ми покажемо, як дані можна векторизувати в процесі їх надходження з CDC, подій, джерел REST та документів, як обробка з урахуванням партицій скорочує мережеві витрати, і як спільне розміщення обчислень із векторним сховищем забезпечує швидке отримання даних із фільтрацією та збагаченням в одному робочому середовищі. Мета - об'єднана, станова платформа, що зменшує архітектурний розширення при одночасному поліпшенні затримки та стійкості. Ключові пункти обговорення: Скотт Макмахон є старшим директором з архітектури рішень в Hazelcast®, з більш ніж 25-річним досвідом у сфері розробки програмного забезпечення та підприємницького консалтингу. Перш ніж приєднатися до Hazelcast, він створював платформи для аналізу великих даних та системи управління бізнес-процесами для багатьох провідних корпорацій світу. Наразі він проживає в Портленді, штат Орегон, і коли не працює з комп'ютерними системами, любить проводити час на природі та веселитися з родиною.