Article summary — zh
现代大语言模型位置编码演进与机制解析
位置编码解决了Transformer自注意力机制中排列不变性的缺陷。大语言模型已从早期的绝对学习位置嵌入和固定正弦编码,演进为在注意力内部旋转特征向量的RoPE,并进一步衍生出部分旋转(Partial RoPE)、跳层应用以及无显式编码(NoPE)等多种架构策略。
因果掩码虽能提供隐式序列顺序但无法量化token间隔,而GPT-2采用的绝对学习位置嵌入在扩展至10万上下文时,参数占比会从0.30%激增至22%以上。
RoPE通过相对位置旋转查询(Q)与键(K)特征对且不改变向量模长,使注意力点积仅受相对间距影响,且值(V)向量不参与旋转。
现代RoPE实现多采用分半排列(Split-half)来优化并行逐元素计算,并预先计算可广播的正弦与余弦表。
Partial RoPE和NoPE成为新趋势,研究显示仅旋转约10%特征即可逼近全量RoPE效果,且全量RoPE在新型模型中的采用比例呈下降趋势。
绝对位置编码与长上下文扩展瓶颈
在缺乏位置编码或因果掩码的标准自注意力机制中,单词调换顺序会产生完全一致的嵌入向量与注意力得分。虽然自回归因果掩码通过单向注意力提供了隐式的先后顺序,但无法区分具体相隔1个还是10个token,因此显式位置编码不可或缺。GPT-2采用了可学习的绝对位置嵌入,在进入首个Transformer块前与token嵌入逐元素相加。然而,这种方法的嵌入表受限于预训练长度,在GPT-2 Medium中,1,024个位置的权重占比仅为0.30%,若扩展到10万上下文长度,其权重占比将突破22%。原生Transformer采用固定的正弦与余弦函数生成位置向量,虽然理论上支持推断超出训练长度的序列,但并不保证在未见位置上具备良好性能。
旋转位置编码(RoPE)的核心原理与计算实现
RoPE作为一种相对位置方法,在自注意力机制内部将token位置信息注入查询与键向量中。它按特征对执行旋转,旋转角度取决于token位置与特征对的固定频率,而值向量则跳过旋转。在旋转过程中,特征向量的长度保持恒定,两者的点积完全由相对位置差决定;若查询与键同时发生相同偏移,两者的相对夹角不变,点积亦保持一致。在工程实现上,正弦与余弦表可在批量与注意力头维度上广播复用,现代开源模型普遍采用分半排列(Split-half)取代早期的交错排列(Interleaved),通过张量分块与拼接简化了逐元素的并行旋转操作。
Partial RoPE与内存优化策略
近期模型逐渐放弃在每个注意力头的全部维度上执行完整RoPE,转而采用Partial RoPE。例如MiniMax-M3在128维的头中仅旋转64个维度,其余维度保持不变并可从前面的Transformer块继承位置信息。在百万token上下文下,旋转半数维度可节省128 MiB的BF16正余弦表存储开销。针对1B至8B参数模型的研究发现,仅对每个头约10%的特征应用旋转,在多数基准上就能取得与全量RoPE相近的训练损失与测试精度。
NoPE架构探索与位置编码演进趋势
无显式位置编码(NoPE)完全依托因果掩码的非对称特性传递位置信号,在前缀键均等分配注意力时,输出特征可直接反映前缀长度。实验表明,1.07亿参数的NoPE模型在超出训练长度的任务中表现优于RoPE,但在1.3B代码模型的最长测试序列上预测性能有所下滑。此外,SmolLM3采用每4层跳过1层RoPE的交替策略来改善长上下文性能。架构统计数据显示,在每个注意力层均使用全量RoPE的模型比例持续走低,而在采用RoPE的模型中,Partial RoPE已在近期模型中占据多数地位。