.png){kind=icon}
返回
Interaction Is Worth More Explanations: Improving Human–Object Interaction Representation With Propositional Knowledge
.png){kind=icon}
PRE
AI
DOI：10.1109/TCDS.2024.3496566.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
检测人-物体交互（HOI）构成了严峻的挑战，需要辨别人与物体之间复杂的高层关系。近期研究探索了HOI视觉-语言建模（HOI-VLM），其利用受跨模态技术启发的语言信息。尽管前景广阔，但现有方法因受限于有限的注释词汇表和次优的词嵌入，阻碍了与视觉特征的有效对齐，进而影响了语言知识的有效迁移。在本工作中，我们提出了一种新颖的跨模态框架，利用外部命题知识来协调注释文本与更广泛的世界知识，从而实现对复杂语义关系的更明确、无歧义的表示。此外，考虑到由于一个HO对（人-物体对）中固有的共生或独特关系，以及不同HO对中发生的相同交互（例如“人骑自行车”与“人骑马”）所导致的多种复杂性。挑战在于理解涉及不同物体或发生在不同情境下的交互之间的细微差异和相似性。为此，我们提出了Jaccard对比策略，以同时优化HO对之间的跨模态表示一致性（特别是针对多重交互情况），该策略包含视觉-视觉和视觉-知识对齐目标。通过广泛实验全面验证了我们提出的方法的有效性，展示了其在HOI分析领域的优越性。
Keyword:
Action recognition
cross-modal learning
HOI vision-and-language modeling
human–object interaction detection
multimodal learning
期刊
IF:
4.9
论文数:
1.0K
被引数:
3.5K
机构
引用论文
MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited DevicesMobileBERT: 用于资源有限设备的紧凑任务不可知的BERT
OAAI
.png){kind=icon}
OAAI分享收藏Diagnosis of Early Mild Cognitive Impairment Based on Associated High-Order Functional Connection Network Generated by Multimodal MRI基于多模态MRI相关高阶功能连接网络的轻度认知障碍早期诊断
PREAI
分享收藏
分享收藏Spatial-Temporal Multiscale Constrained Learning for mmWave-Based Human Pose Estimation基于时空多尺度约束学习的毫米波人体姿态估计
PREAI
分享收藏分享收藏
查看更多内容