Генерация с использованием дополненной выборки в почти реальном времени (RAG)

Генерация с использованием дополненной выборки в почти реальном времени (RAG) в масштабах Java. RAG – это паттерн, используемый для повышения точности LLM и минимизации галлюцинаций ИИ. Но большинство реализаций представляют собой лоскутное одеяло из пакетных задач эмбеддинга, внешних векторных баз данных, брокеров сообщений, различных сервисов и хрупкого вспомогательного кода. Результат предсказуем: более высокая задержка, более сложные и дорогостоящие операции. В этом докладе вы увидите архитектуру стримингового RAG, построенную нативно на Java: непрерывное поступление и преобразование с помощью распределенных DAG-пайплайнов, горизонтально масштабируемый вывод эмбеддинга и дистрибуцию векторных коллекций в памяти для семантического поиска за миллисекунды. Мы покажем, как данные могут быть векторизованы по мере их поступления из CDC, событий, REST-источников и документов, как обработка с учётом разделов сокращает сетевые накладные расходы и как совместное размещение вычислений и векторного хранилища обеспечивает быстрый доступ с фильтрацией и обогащением в одном потоке выполнения. Цель заключается в создании единой, сохраненной платформы, которая уменьшает архитектурную разрозненность, улучшая при этом задержку и устойчивость. Ключевые обсуждаемые моменты: Скотт МаКмахон является старшим директором по архитектуре решений в Hazelcast®, с более чем 25-летним опытом работы в разработке программного обеспечения и консалтинге для предприятий. Прежде чем присоединиться к Hazelcast, он создавал платформы аналитики больших данных и системы управления бизнес-процессами для многих ведущих корпораций мира. В настоящее время он живет в Портленде, штат Орегон, и, когда не работает над компьютерными системами, ему нравится проводить время на свежем воздухе и весело проводить время с семьей.