.png){kind=icon}
返回
Multi-view context learning for human-object interaction detection
.png){kind=icon}
OA
AI
DOI：10.1038/s41598-026-71464-8.png)
.png){kind=icon}
.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
理解人类如何在复杂视觉场景中与物体交互是人类中心人工智能的基础。然而，当前的人-物交互（HOI）检测框架在面对视觉遮挡、交互语义模糊以及超出预定义类别的场景时往往表现不佳。我们提出了多视角上下文感知解耦交互网络（MCD-Inet），一个旨在在这些具有挑战性的开放世界条件下稳健检测HOI的统一框架。我们的方法整合了一种新颖的多视角上下文融合机制，该机制在实例、交互和全局层面综合了精细的空间线索和广泛语义信息。为解耦物体定位与交互语义的学习，我们引入了解耦交互解码器，以实现更清晰的任务特定表示。此外，我们的双向知识适应模块将视觉骨干网络的高分辨率空间特征与预训练视觉语言模型的抽象语义相结合。为克服遮挡交互的挑战，我们设计了一个抗遮挡增强模块，该模块外推缺失区域并挖掘上下文线索以恢复交互证据。最后，MCD-INet利用包含文本模板和视觉范例的多模态提示，将其检测能力扩展到未见过的HOI三元组。在HICO-DET、V-COCO和HICO-Ambiguous数据集上的广泛评估证实了我们的方法的优势，实现了40.7%的新状态-of-the-art mAP，并在遮挡和零样本场景中表现出显著的鲁棒性。MCD-INet为实现现实世界视觉环境中通用、上下文感知的HOI检测提供了强大的一步。
AI总结
对已上传原文的论文进行重点信息的提取，主要内容包括：简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。
期刊
IF:
3.9
论文数:
28.3W
被引数:
83.5W
机构
查看更多机构
引用论文
Subjective-objective emotion correlated generation network for subjective video captioning主观-客观情感相关生成网络用于主观视频字幕生成.png)
IF0
PREAI
分享收藏UAHOI: Uncertainty-aware robust interaction learning for HOI detectionUAHOI：面向HOI检测的不确定性感知鲁棒交互学习
PREAI
分享收藏Detecting any human-object interaction relationship: Universal hoi detector with spatial prompt learning on foundation models检测任意人类-物体交互关系：基于基础模型的空间提示学习通用HOI检测器
IF0
PREAI
分享收藏
分享收藏 没有更多内容