Paper Club #5: Embeddings de Posição e Longo Contexto

Bem-vindo ao próximo AI Paper Club do DEVx! Como a codificação da posição dos tokens melhora a compreensão de longos contextos e estruturas de entradas, se é que melhora? Este artigo explora embeddings de posição -- RoPE, NoPE e QK-Norm. Vou discutir motivações, intuições, designs arquitetônicos e algumas aplicações de embeddings de posição. Paper: https://proceedings.neurips.cc/paper_files/paper/2025/file/5c9ab393551b7a39b4c02d88fe5e7e69-Paper-Conference.pdf Todos são bem-vindos para vir e aprender. Perguntas e curiosidade são encorajadas! 📍 MUDANÇA DE LOCAL AI Paper Club estará em um novo local desta vez: 11988 El Camino RealSan Diego, CA 92130 Estaremos no espaço de seminários logo em frente ao saguão. Por favor, verifique o endereço antes de ir, especialmente se você já participou de um Paper Club em nosso antigo local. Vejo você lá!