MTCloud: Multi-type convolutional linkage network for point cloud instance segmentation

Jing Du

doi:10.1016/j.eswa.2025.126432

2025-04-01

PRE

DOI：10.1016/j.eswa.2025.126432

原文链接

原文求助

摘要

En 中文

点云的语义分割和实例分割是三维场景理解的关键任务，广泛应用于自动驾驶、机器人、增强现实和高精度城市测绘等领域。语义分割旨在为每个点分配语义标签，而实例分割则涉及将相同语义类别的不同对象进行分割。因此，语义分割可被视为实例分割的基础任务。基于此动机，我们设计了一种基于多类型卷积连接算法的点云实例分割网络MTCloud。首先，我们提出了上下文稀疏卷积模块，用于高效提取点云的三维几何结构特征，该模块在稀疏张量上进行邻域特征聚合。这种方法通过避免处理空体素来降低内存消耗。我们还引入了稀疏体素Transformer模块，利用稀疏卷积捕捉点云的全局和局部特征。此外，所提出的方法缓解了Transformer在每次传递中仅处理少量点的限制，提升了全面捕捉点云特征的能力。此外，我们在空间子流形空洞卷积模块中结合了空间稀疏卷积与子流形稀疏卷积。该模块采用不同的空洞值来扩展网络感受野，同时保持点云的稀疏性。我们在室内点云数据集ScanNet v2和S3DIS以及三维航空摄影测量点云数据集STPLS3D上进行了大量实验，证明了其与现有实例分割框架的兼容性。结果表明，MTCloud通过增强语义特征提取提升了实例分割性能，相较于原始实例分割模型取得了显著进步。MTCloud为连接语义分割和实例分割任务提供了一种实用且有效的方法。

Keyword:

Multi-type convolutional linkage

Point cloud

Semantic segmentation

Instance segmentation

Deep learning