Prawie w czasie rzeczywistym generacja wzbogacona o wyszukiwanie (RAG)

Prawie w czasie rzeczywistym generacja wzbogacona o wyszukiwanie (RAG) w skali w JavaRAG to wzorzec stosowany w celu poprawy dokładności LLM i minimalizacji halucynacji AI. Jednak większość implementacji to patchwork zadań osadzania wsadowego, zewnętrznych baz danych wektorowych, brokerów wiadomości, różnych usług i delikatnego kodu klejowego. Rezultat jest przewidywalny: wyższe opóźnienia, trudniejsze i droższe operacje. W tej prezentacji zaprezentujemy architekturę strumieniową RAG zbudowaną natywnie w Javie: ciągłe przetwarzanie i transformacja z rozproszonymi potokami DAG, poziomo skalowalna inferencja osadzania i rozproszone kolekcje wektorowe w pamięci dla semantycznego wyszukiwania w milisekundach. Pokażemy, jak dane mogą być wektoryzowane w miarę ich przybywania z CDC, zdarzeń, źródeł REST i dokumentów, jak przetwarzanie świadome partycji zmniejsza obciążenie sieciowe oraz jak współlokowanie obliczeń z pamięcią wektorową umożliwia szybkie wyszukiwanie z filtrowaniem i wzbogacaniem w jednym czasie uruchomienia. Celem jest zjednoczona, stanowa platforma, która redukuje rozrastanie się architektury, jednocześnie poprawiając opóźnienia i odporność.Główne punkty dyskusji:Scott McMahon jest starszym dyrektorem ds. architektury rozwiązań w Hazelcast®, z ponad 25-letnim doświadczeniem w rozwoju oprogramowania i doradztwie dla przedsiębiorstw. Przed dołączeniem do Hazelcast zbudował platformy analityki big data i systemy zarządzania procesami biznesowymi dla wielu wiodących światowych korporacji. Obecnie mieszka w Portland w Oregonie, a kiedy nie pracuje nad systemami komputerowymi, lubi spędzać czas na świeżym powietrzu i bawić się z rodziną.