Full Point Encoding for Local Feature Aggregation in 3-D Point Clouds

Yong He

doi:10.1109/TNNLS.2024.3409891

Full Point Encoding for Local Feature Aggregation in 3-D Point Clouds

2024-01-01

1

OA

AI

DOI：10.1109/TNNLS.2024.3409891

原文链接

原文求助

摘要

En 中文

点云处理方法通过聚合来利用局部点特征和全局上下文，该聚合没有显式地对局部和全局特征之间的内部相关性进行建模。为了解决这个问题，我们提出了适用于卷积和变压器架构的全点编码。具体来说，我们提出了全点卷积 (FuPConv) 和全点变压器 (FPTransformer) 架构。关键思想是从局部和全局几何连接中自适应地学习权重，其中分别通过局部和全局相关函数建立连接。FuPConv和FPTransformer同时对局部和全局几何关系及其内部相关性进行建模，显示出强大的泛化能力和高性能。FuPConv被合并到经典的分层网络架构中，以实现局部和全局形状感知学习。在FPTransformer中，我们在自我注意中引入了全点位置编码，该编码对全局和局部感受野中的每个点位置进行分层编码。我们还提出了一种考虑局部形状和全局上下文的形状感知下采样块。与基准数据集上的现有方法的实验比较显示了FuPConv和FPTransformer在语义分割，对象检测，分类和正常估计任务中的功效。特别是，我们在S3DIS上实现了76.8% mIoU的六倍和S3DIS区域5上的73.1% 的最新语义分割结果。我们的代码可在 https://github.com/hnuhyuwa/FullPointTransformer.

Keyword:

3D point clouds

convolution

deep learning

global context

local features

transformer

Full Point Encoding for Local Feature Aggregation in 3-D Point Clouds

摘要

期刊

机构

引用论文