Quality-aware pattern diffusion for video object segmentation

doi:10.1016/j.neucom.2023.01.044

Quality-aware pattern diffusion for video object segmentation

2023-04-01

3

PRE

AI

DOI：10.1016/j.neucom.2023.01.044

原文链接

原文求助

摘要

En 中文

最近，在处理视频对象分割 (VOS) 问题时，在存储机制的支持下取得了很大的进展。尽管取得了成就，但现有的VOS方法仍然遭受异常样本的困扰，这些样本源自固有的视频伪像，例如遮挡和运动模糊。为了缓解上述问题，在本文中，我们提出了一个质量感知模式扩散 (QPD) 框架来提高VOS性能。为了实现质量感知的模式扩散，提出了一种质量对齐机制，旨在在特征传播/扩散过程中提高那些正常样本的贡献，同时抑制那些异常样本。通过我们提出的质量对齐机制，扩散的实例特征可以保持在正常特征空间中，避免由那些低质量样本引起的特征污染。我们首先引入可学习的质量评估器来评估时间域 (即，跨历史帧) 以及空间域 (即，在当前帧内) 中的样本质量。为了实现向当前实例的自适应传播，提出了一种质量感知的长期上下文传播模块，通过建立的质量感知特征传播过程，可以实现更稳定的实例表示。进一步引入了质量感知模式扩散模块来解决空间域异常样本，通过构建质量感知对应权重来有效地细化解码器特征。广泛的实验表明，我们提出的质量调整机制可以在强大的基准上大幅提高性能，同时在公共VOS基准上实现最先进的性能。(c) 2023 Elsevier b.V.保留所有权利。

Keyword:

Video object segmentation

Quality -aware pattern diffusion

Quality alignment mechanism

Quality-aware pattern diffusion for video object segmentation

摘要

期刊

机构

引用论文