Paper Club #5: Positions-Embeddings & Langer Kontext

Willkommen zum nächsten KI-Papierclub von DEVx! Wie verbessert die Kodierung der Token-Position den langen Kontext und das strukturelle Verständnis von Eingaben, falls überhaupt? Dieses Papier untersucht Positions-Embeddings - RoPE, NoPE und QK-Norm. Ich werde Motivationen, Intuitionen, architektonische Entwürfe und einige Anwendungen von Positions-Embeddings diskutieren. Papier: https://proceedings.neurips.cc/paper_files/paper/2025/file/5c9ab393551b7a39b4c02d88fe5e7e69-Paper-Conference.pdf Alle sind willkommen, um zu kommen und zu lernen. Fragen und Neugier sind erwünscht! 📍 ADRESSÄNDERUNG Der KI-Papierclub findet dieses Mal an einem neuen Ort statt: 11988 El Camino RealSan Diego, CA 92130 Wir werden im Seminarraum gleich neben der Lobby sein. Bitte überprüfen Sie die Adresse, bevor Sie losfahren, insbesondere wenn Sie an einem früheren Papierclub an unserem alten Standort teilgenommen haben. Bis bald!