.png){kind=icon}
返回
Autofusion: an adaptive multi-positional encoding fusion framework for graph transformers
.png){kind=icon}
PRE
AI
DOI：10.1007/s11227-025-07994-1.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
图 Transformer（GTs）在图表示学习（GRL）中展现出巨大潜力，但其性能高度依赖于对图拓扑结构的有效编码。现有采用单一位置编码（PE）的方法视角有限，而固定的PE组合缺乏必要的灵活性。为解决这些挑战，本研究引入了AutoFusion，一个用于PE融合与选择的自适应框架。AutoFusion整合了源自谱方法、扩散核、相对距离和子结构模式的多异质PE集合，以提供丰富的结构洞察。值得注意的是，它融入了双层次自适应选择机制。在模型训练初期对数据子集进行高效预热阶段时，AutoFusion利用可学习的门控结构，同步优化不同PE类型的权重及各类融合策略的选择权重。完成预热后，最优PE子集与融合策略被固定，以支持后续高效模型训练。该自动化机制将寻找最优结构信息方案的复杂架构搜索转化为高效优化任务。它消除了原本需要高性能计算环境支持的繁琐手动调优需求，同时确保模型以数据驱动方式利用最相关的结构信息组合。我们在多个基准上进行了广泛评估，涵盖节点分类、图分类和图回归任务。在节点分类、图分类和图回归等系列任务中，AutoFusion-GT显著优于采用单一PE或固定融合策略的强基线方法。消融研究进一步证实了多PE融合的必要性，并强调了AutoFusion的双选择机制和高效预热策略的有效性。
Keyword:
Graph representation learning
Graph transformer
Positional encoding
期刊
T
IF:
0
论文数:
647
被引数:
0
机构
引用论文
Automatic Chemical Design Using a Data-Driven Continuous Representation of Molecules使用数据驱动的分子连续表示的自动化学设计.png)
ACS CENTRAL SCIENCE
OAAI
ACS CENTRAL SCIENCEIF10.4
OAAI分享收藏
FDphormer: beyond homophily with feature-difference position encodingFDphormer: 超越同质性，采用特征差异位置编码
IF0
PREAI
分享收藏分享收藏 没有更多内容
没有更多内容