Geração Aumentada por Recuperação em Quase Tempo Real (RAG)

Pipelines de Geração Aumentada por Recuperação em Quase Tempo Real (RAG) em Escala em JavaRAG é o padrão usado para melhorar a precisão de LLM e minimizar alucinações de IA. Mas a maioria das implementações é um patchwork de trabalhos de incorporação em lote, bancos de dados vetoriais externos, corretores de mensagens, serviços diversos e código-conector frágil. O resultado é previsível: maior latência, operações mais difíceis e mais caras. Nesta palestra, você verá uma arquitetura RAG em streaming construída nativamente em Java: ingestão e transformação contínuas com pipelines DAG distribuídos, inferência de incorporação escalável horizontalmente e coleções vetoriais distribuídas em memória para busca semântica em milissegundos. Mostraremos como os dados podem ser vetorizados à medida que chegam de CDC, eventos, fontes REST e documentos, como o processamento ciente de partições reduz a sobrecarga de rede e como a co-localização de computação com armazenamento vetorial permite uma recuperação rápida com filtragem e enriquecimento em um único tempo de execução. O objetivo é uma plataforma unificada e com estado que reduz a proliferação arquitetônica enquanto melhora a latência e a resiliência.Pontos de Discussão Principais:Scott McMahon é o Diretor Sênior de Arquitetura de Soluções na Hazelcast®, com mais de 25 anos de experiência em desenvolvimento de software e consultoria empresarial. Antes de se juntar à Hazelcast, ele construiu plataformas de análise de big data e sistemas de gerenciamento de processos de negócios para muitas das principais corporações do mundo. Atualmente, mora em Portland, Oregon, e quando não está trabalhando em sistemas computacionais, gosta de estar ao ar livre e se divertir com sua família.