返回
Panoptic Image Segmentation Method Based on Dynamic Instance Query
DOI:10.3390/s25092919.png)
摘要
En 中文
全景分割作为计算机视觉领域的一项关键任务,在自动驾驶和机器人视觉等实际应用中具有重要意义。目前,在基于深度学习的全景分割方法中,基于查询的方法已受到广泛关注。然而,现有方法(如Mask2Former)通常依赖于静态查询机制。这使得模型难以适应不同场景中实例数量的变化,可能导致实例丢失或混淆,从而限制了复杂场景中的性能。此外,该方法容易导致特征提取不足和全局信息丢失。为解决这些问题,本文提出了一种基于动态实例查询的全景分割方法(PSM-DIQ)。PSM-DIQ采用多维注意力机制增强特征提取,利用实例激活引导的动态查询生成来提升不同实例的区分能力,并通过双路径Transformer解码器优化像素-查询交互。在Cityscapes和MS COCO数据集上的实验表明,基于ResNet-50骨干网络,PSM-DIQ显著优于Mask2Former基准,PQ值分别提升了1.8和1.7个百分点。实验结果验证了PSM-DIQ在复杂场景全景分割中的有效性。最后,本工作将以开源软件包的形式发布在GitHub(v1.0)。
Keyword:
deep learning
image segmentation
instance segmentation
panoptic segmentation
dynamic instance queries
期刊
IF:
3.5
论文数:
7.2W
被引数:
20.9W

