Paper Club #5: Embeddings de Posición y Contexto Largo

¡Bienvenido al próximo AI Paper Club de DEVx! ¿Cómo mejora la codificación de la posición de los tokens el contexto largo y la comprensión estructural de las entradas, si es que lo hace? Este documento explora los embeddings de posición: RoPE, NoPE y QK-Norm. Discutiré motivaciones, intuiciones, diseños arquitectónicos y algunas aplicaciones de los embeddings de posición. Documento: https://proceedings.neurips.cc/paper_files/paper/2025/file/5c9ab393551b7a39b4c02d88fe5e7e69-Paper-Conference.pdf ¡Todos son bienvenidos a venir y aprender. Preguntas y curiosidad son alentadas! 📍 CAMBIO DE UBICACIÓN Esta vez, el AI Paper Club estará en una nueva ubicación: 11988 El Camino RealSan Diego, CA 92130 Estaremos en el espacio de seminarios justo al lado del vestíbulo. ¡Por favor verifica la dirección antes de venir, especialmente si has asistido a un Paper Club anterior en nuestra antigua ubicación. ¡Nos vemos allí!