MGPC: Multimodal Network for Generalizable Point Cloud Completion With Modality Dropout and Progressive Decoding

doi:10.1109/tim.2026.3738175

MGPC: Multimodal Network for Generalizable Point Cloud Completion With Modality Dropout and Progressive Decoding

2026-10-08

0

PRE

AI

DOI：10.1109/tim.2026.3738175

原文链接

原文求助

摘要

En 中文

点云补全旨在从有限视角和遮挡导致的局部观测中恢复完整的3-D几何形状。现有的基于学习的方法，包括基于3-D卷积神经网络（CNN）、基于点以及基于Transformer的方法，在合成基准上取得了优异性能。然而，由于模态、可扩展性和生成能力的限制，它们在新型物体和真实场景中的泛化仍具挑战。本文提出MGPC，一种通用的多模态点云补全框架，将点云、RGB图像和文本整合到统一架构中。MGPC引入了创新的模态丢弃策略、基于Transformer的融合模块以及新颖的渐进式生成器，以提升鲁棒性、可扩展性和几何建模能力。我们进一步开发了自动数据生成流水线，并构建了MGPC-1M，一个包含1000多个类别和百万训练对的大规模基准。在MGPC-1M、公开的ViPC基准以及在野RGB-D观测上的大量实验表明，MGPC在补全性能上表现更优，并展现出对新型物体的良好泛化能力，突显了其在实际测量条件下增强不完整3-D感知数据的潜力。

Keyword:

3-D measurement

3-D point cloud

deep learning

multimodal sensing

point cloud completion

MGPC: Multimodal Network for Generalizable Point Cloud Completion With Modality Dropout and Progressive Decoding

摘要

期刊

机构

引用论文