返回
Interaction-Aware Transformer Network for Human-Object Interaction Detection
DOI:10.1109/TCYB.2025.3587037.png)
摘要
En 中文
人-物交互(HOI)检测旨在解决HOI的联合定位和分类问题。近年来,HOI检测方法主要基于Transformer网络,其中对象级别的显式先验(如场景布局、物体外观或类别)通常被输入Transformer以提升对象查询能力。尽管这些方法取得了显著成果,但它们未能充分关注隐式动作级信息,而这是HOI的基本要素。本文提出了一种交互感知Transformer网络(IATN),通过联合利用隐式动作级先验和显式对象级先验来获取交互感知查询。具体而言,我们设计了动作感知模块(AAM),分别从场景级和实例级聚合隐式动作先验。随后,我们设计了动作导向图(AOG),其中人体特征和物体特征作为图节点,动作语义表示图边,以联合聚合动作级和对象级的先验。之后,获得交互感知查询,并最终用于获取HOI预测。此外,我们利用知识蒸馏来增强动作级先验,通过将最终的HOI预测转移到中间特征中。在HICO-DET和V-COCO数据集上的大量实验验证了我们提出的交互感知模型的有效性。
Keyword:
Action recognition
graph network
human-object interaction (HOI)
knowledge distillation
期刊
IF:
10.5
论文数:
1.1W
被引数:
5.0W
机构
引用论文
Exploring Self- and Cross-Triplet Correlations for Human-Object Interaction Detection探索自三重组和交叉三重组相关性用于人-物交互检测

