返回
Multi-modal multi-source domain for detection
DOI:10.1016/j.knosys.2026.116426.png)
摘要
En 中文
通用目标检测(OD)难以检测与训练分布不同的目标域中的物体。为解决此问题,近期研究显示,从多个源域进行训练并对它们进行显式分离处理的多源域自适应(MSDA)优于将它们混合用于无监督域自适应(UDA)。然而,现有的MSDA方法从特定于域的RGB图像中学习域无关特征,同时保留域无关特征图中的域特定信息。为解决此问题,我们提出MS-DePro:具有深度和提示的多源检测器,由(1)深度引导定位和(2)多模态引导提示学习组成。我们利用域无关的输入模态,即深度图和文本,来编码域无关特征。具体而言,我们利用深度图生成域无关的区域提议以进行定位,并将多模态特征整合以对齐可学习的文本嵌入进行分类。MS-DePro在MSDA基准上实现了最先进的表现,全面的消融实验证明了我们贡献的有效性。我们的代码可在GitHub上获取。
Keyword:
Object detection
Domain adaptation
Multi-source domain adaptation

