.png){kind=icon}
返回
Efficient High-Order Spatial Interactions for Visual Perception
.png){kind=icon}
PRE
AI
DOI：10.1109/TPAMI.2025.3603181.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
近期视觉Transformer的研究进展展示了基于点积自注意力新空间建模机制在各类任务上的巨大成功。本文表明，视觉Transformer背后的关键要素，即输入自适应、长距离和高阶空间交互，也可以通过基于卷积的框架高效实现。我们提出了递归门控卷积（${\mathit{g}}^{\mathit{n}}$Conv），它通过门控卷积和递归设计执行高阶空间交互。该新操作具有高度灵活性和可定制性，可与各种卷积变体兼容，并将自注意力中的二阶交互扩展至任意阶数，而不会引入显著额外的计算量。${\mathit{g}}^{\mathit{n}}$Conv可作为即插即用模块，用于改进各类视觉Transformer和基于卷积的模型。基于所提出的操作，我们构建了一个新的通用视觉骨干网络家族，适用于各类视觉模态和任务，包括用于图像识别的HorNet和HorFPN、用于点云分析的Hor3D，以及用于视觉-语言建模的HorCLIP。对于图像识别，我们提出HorNet作为更强的视觉编码器，并在ImageNet分类、COCO目标检测和ADE20K语义分割上进行了大量实验。HorNet在相似的总体架构和训练配置下，显著优于Swin Transformer和ConvNeXt。HorNet还展现出对更多训练数据和更大模型尺寸的良好可扩展性。除图像编码器外，我们还展示了${\mathit{g}}^{\mathit{n}}$Conv可应用于任务特定的解码器，并以更少的计算量持续提升密集预测性能。对于点云分析，我们设计了Hor3D，通过在S3DIS和ScanNet V2上具有挑战性的3D语义分割任务的实验，证明了高阶交互对非结构化点云数据的有效性。在视觉-语言建模中，我们提出的HorCLIP在ImageNet零样本分类上以更短的训练周期超越了主流视觉Transformer和ConvNeXt架构，并在COCO全景数据集的视觉-语言密集表示任务上表现出显著更高的性能。我们的结果表明，具有高阶空间交互的${\mathit{g}}^{\mathit{n}}$Conv可以成为视觉建模的一种新基本操作，有效结合了视觉Transformer和CNN的优点。
Keyword:
Visual perception
high-order spatial interactions
recursive gated convolution
期刊
IF:
18.6
论文数:
1.1K
被引数:
9.8W
机构
引用论文
.png){kind=icon}
Semantic Segmentation for Real Point Cloud Scenes via Bilateral Augmentation and Adaptive Fusion
OAAI
OAAI分享收藏
分享收藏
查看更多内容