RoPE旋转位置编码浅析

RoPE旋转位置编码浅析

RoPE旋转位置编码浅析

本文介绍了旋转位置编码RoPE在大模型中的广泛应用，包括Llama、Mistral 7B、Baichuan、ChatGLM、Qwen、…等。由于计算资源限制，大模型通常在较小的上下文长度中进行训练，导致在推理超出预训练长度时性能显著下降。为了解决这个问题，涌现了许多基于RoPE的长度外推工作，旨在让大模型在预训练长度之外取得更好的效果。RoPE将相对位置信息集成到自注意力中，具有较好的位置外推性，并可与Flash-Attention v2配合使用，提升模型训练速度约20%.

论文 ROFORMER

论文：ROFORMER: ENHANCED TRANSFORMER WITH ROTARY POSITION EMBEDDING
链接：.09864.pdf


论文提出了一种称为 Rotary Position embedding(RoPE)的新方法,该方法有效地利用了局部信息。提出的RoPE以旋转矩阵算法编码绝对位置,而同时考虑了对单词的局部依赖性。不仅如此,RoPE能够获得宝贵的特性,包括连贯的序列长度、随着相对距离的增加文本之间的依赖性和线性自我注意的能力。

ROFORMER是一种配合Attention机制能达到“绝对位置编码的方式实现相对位置编码”的设计。