Generación Aumentada por Recuperación en Tiempo Casi Real (RAG)

Generación Aumentada por Recuperación en Tiempo Casi Real (RAG) Pipelines a Escala en JavaRAG es el patrón utilizado para mejorar la precisión de los LLM y minimizar las alucinaciones de la IA. Pero la mayoría de las implementaciones son un mosaico de trabajos de embedding por lotes, bases de datos de vectores externas, corredores de mensajes, servicios variados y código de pegamento frágil. El resultado es predecible: mayor latencia, operaciones más difíciles y costosas. En esta charla, verás una arquitectura RAG de streaming construida de manera nativa en Java: ingesta y transformación continuas con pipelines DAG distribuidos, inferencia de embeddings escalable horizontalmente y colecciones de vectores distribuidos en memoria para búsqueda semántica en milisegundos. Mostraremos cómo los datos pueden ser vectorizados a medida que llegan desde CDC, eventos, fuentes REST y documentos, cómo el procesamiento consciente de particiones reduce la sobrecarga de la red, y cómo co-localizar la computación con el almacenamiento de vectores permite una recuperación rápida con filtrado y enriquecimiento en un solo tiempo de ejecución. El objetivo es una plataforma unificada y con estado que reduce la proliferación arquitectónica mientras mejora la latencia y la resiliencia. Puntos Clave de Discusión: Scott McMahon es el Director Senior de Arquitectura de Soluciones en Hazelcast®, con más de 25 años de experiencia en desarrollo de software y consultoría empresarial. Antes de unirse a Hazelcast, construyó plataformas de análisis de big data y sistemas de gestión de procesos de negocio para muchas de las principales corporaciones del mundo. Actualmente vive en Portland, Oregón, y cuando no está trabajando en sistemas informáticos, disfruta de salir al aire libre y divertirse con su familia.