Feature Compression for Cloud-Edge Multimodal 3D Object Detection

doi:10.1109/TPAMI.2026.3669471

Feature Compression for Cloud-Edge Multimodal 3D Object Detection

2026-03-03

0

PRE

AI

DOI：10.1109/TPAMI.2026.3669471

原文链接

原文求助

摘要

En 中文

机器视觉系统能够高效管理大规模视觉感知任务，正日益普及于工业生产和日常生活中。由于单传感器难以同时获取精确深度和纹理信息，摄像头与LiDAR采集的多模态数据常用于提升性能。此外，云边协同作为新型计算方法，被用于改善用户体验并保障机器视觉系统的数据安全。本文提出一种开创性方案解决多模态3D目标检测中的特征压缩问题。针对边缘设备上的稀疏张量目标检测网络，我们引入两种模式以适应不同应用需求：传输友好型特征压缩（T-FFC）和精度友好型特征压缩（A-FFC）。在T-FFC模式下，仅传输网络骨干网最后一层的输出至边缘设备，接收的特征通过通道扩展模块和两个空间上采样模块在云端生成多尺度特征。在A-FFC模式下，我们在T-FFC基础上额外传输两种特征类型，使云端能生成更精确的多尺度特征。基于KITTI数据集和VirConv-L检测网络的实验结果表明，T-FFC可将特征压缩4933倍，检测性能下降不足3%；A-FFC压缩约733倍，几乎无性能退化。我们还设计了可选的残差提取与3D目标重建模块，以辅助检测对象的重建。重建对象有效反映了原始对象的形状、遮挡和细节。

Keyword:

Feature compression

multimodal

3D object detection

sparse tensor

diffusion model

Feature Compression for Cloud-Edge Multimodal 3D Object Detection

摘要

期刊

机构

引用论文