.png){kind=icon}
返回
PeNorm: Enhancing positional discriminability in transformers through normalization-based encoding optimization
.png){kind=icon}
PRE
AI
DOI：10.1016/j.neunet.2026.109522.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
位置编码是Transformer基模型中的关键组件，使其能够在没有循环或卷积结构的情况下捕捉序列顺序。尽管其应用广泛，但实际实现中常在区分精细位置信息方面存在局限性，尤其是在序列包含细微或重复结构模式时。本文首先通过定性和定量分析识别出一个经验性缺陷：在常用的位置编码方案（如正弦编码和可学习绝对位置编码）下，相邻或结构相似标记的位置向量可能变得难以区分，损害模型区分位置上下文的能力。为解决此问题，我们提出PeNorm——一种基于归一化的简单而有效的优化方法，通过促进嵌入空间中的均匀性和分离性来增强位置编码的可区分性。我们通过定性和定量分析表明，PeNorm提升了位置表示的差异性。此外，我们通过理论论证表明，配备适当位置编码的三层Transformer编码器可在Parity-Odd语言任务上实现完美准确率——该形式化任务要求精确的位置追踪与计数——从而建立了有效位置编码与计算表达能力之间的强关联。在形式语言识别任务、机器翻译基准和语言建模任务上的实证评估一致显示，使用PeNorm可带来性能提升，验证了其在增强位置感知方面的有效性。我们的发现弥合了理论能力与实践实现之间的差距，为提高Transformer序列建模的鲁棒性提供了原则性和实用性的增强方案。
Keyword:
Transformer
Positional encoding
Formal language recognition
Machine translation
Language modeling
期刊
IF:
6.3
论文数:
8.2K
被引数:
3.0W
机构
引用论文
.png){kind=icon}
BioGPT: A Generative Transformer-Based Framework for Personalized Genomic Medicine and Rare Disease DiagnosisBioGPT：一种基于生成式Transformer的个性化基因组医学和罕见病诊断框架
PREAI
分享收藏Towards Visual Interaction: Hand Segmentation by Combining 3D Graph Deep Learning and Laser Point Cloud for Intelligent Rehabilitation迈向视觉交互：通过结合3D图深度学习和激光点云进行手部分割以实现智能康复
PREAI
分享收藏UnCOT-AD: Unpaired Cross-Omics Translation Enables Multi-Omics Integration for Alzheimer’s Disease PredictionUnCOT-AD：无配对跨组学转换实现了阿尔茨海默病预测的多组学整合
OAAI
OAAI分享收藏Formal Language Recognition by Hard Attention Transformers: Perspectives from Circuit ComplexityOAAI
OAAI分享收藏GTG-ACO: Graph Transformer Guided Ant Colony Optimization for learning heuristics and pheromone dynamics for combinatorial optimizationGTG-ACO：基于图变换指导蚁群优化学习组合优化中的启发式规则和信息素动态
OAAI
OAAI分享收藏
查看更多内容