.png){kind=icon}
返回
Image-point cloud embedding network for simultaneous image-based farmland instance extraction and point cloud-based semantic segmentation
.png){kind=icon}
PRE
AI
DOI：10.1016/j.jag.2025.104361.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
农用地提取在遥感领域数十年来一直是一个关键的研究挑战。得益于先进的基于深度学习的技术，相关研究取得了突破性进展。然而，现有方法仍较少关注实例级农用地提取和基于语义的3D属性分析的同时进行，而这对于实现更多样化的农业应用至关重要。此外，大多数双模态方法采用简单的投影来将高维特征转换为低维空间以进行特征交互，这不可避免地未能充分利用双模态学习的优势，并导致信息损失严重。为解决此问题，我们提出了一种新颖的端到端双模态网络，命名为Image-Point Cloud Embedding Network（IPCE-Net），该网络创新性地采用双流分支架构，以同时执行基于图像的农用地实例分割和基于点云的语义分割。此外，通过利用Heterogeneous Conversion Module（HCM），IPCE-Net有效调和了图像和点云之间的模态差异，并在双模态学习过程中实现了分阶段的特征交互，从而比单模态学习获得了更高的性能。在两个数据集上的实验表明，IPCE-Net在农用地实例提取和点云语义分割任务中均表现出卓越的性能。对于农用地实例提取，实例级mAP和像素级IoU指标分别达到74.9%和79.6%，显著高于其他经典的基于图像的实例分割方法。对于点云语义分割，OA和mIoU指标分别为93.8%和66.1%，相较于当前最优的语义分割方法，分别实现了至少1.3%和8.2%的显著提升。此外，基于IPCE-Net与GPT-4互联的智能分析将抽象的分类信息转化为易于理解的量化信息，展示了其在精准农业和智能农业实际应用中的巨大潜力。
Keyword:
Bimodal network
Bimodal learning
Farmland instance extraction
Point cloud semantic segmentation
Feature interaction
期刊
IF:
8.6
论文数:
5.3K
被引数:
2.4W
机构
引用论文
Automatic building extraction from high-resolution aerial images and LiDAR data using gated residual refinement network使用门控残差细化网络从高分辨率航空图像和LiDAR数据中自动提取建筑物
PREAI
分享收藏The Bangkok Urbanscapes Dataset for Semantic Urban Scene Understanding Using Enhanced Encoder-Decoder With Atrous Depthwise Separable A1 Convolutional Neural Networks.png)
IEEE ACCESS
OAAI
IEEE ACCESSIF3.6
OAAI分享收藏Case instance segmentation of small farmland based on Mask R-CNN of feature pyramid network with double attention mechanism in high resolution satellite images基于双重注意机制的特征金字塔网络Mask r-cnn的高分辨率卫星影像小农田实例分割
PREAI
分享收藏
Fusion of images and point clouds for the semantic segmentation of large-scale 3D scenes based on deep learning融合图像和点云的深度学习大规模三维场景语义分割
PREAI
分享收藏
查看更多内容