arrow
返回

Interaction-Aware Transformer Network for Human-Object Interaction Detection

delete
delete0
PRE
AI
W
Weibo Jiang
W
Weihong Ren
J
Jiandong Tian
H
Hanwei Ma
B
Bowen Chen
H
Honghai Liu
DOI:10.1109/TCYB.2025.3587037delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
人-物交互(HOI)检测旨在解决HOI的联合定位和分类问题。近年来,HOI检测方法主要基于Transformer网络,其中对象级别的显式先验(如场景布局、物体外观或类别)通常被输入Transformer以提升对象查询能力。尽管这些方法取得了显著成果,但它们未能充分关注隐式动作级信息,而这是HOI的基本要素。本文提出了一种交互感知Transformer网络(IATN),通过联合利用隐式动作级先验和显式对象级先验来获取交互感知查询。具体而言,我们设计了动作感知模块(AAM),分别从场景级和实例级聚合隐式动作先验。随后,我们设计了动作导向图(AOG),其中人体特征和物体特征作为图节点,动作语义表示图边,以联合聚合动作级和对象级的先验。之后,获得交互感知查询,并最终用于获取HOI预测。此外,我们利用知识蒸馏来增强动作级先验,通过将最终的HOI预测转移到中间特征中。在HICO-DET和V-COCO数据集上的大量实验验证了我们提出的交互感知模型的有效性。
Keyword:
Action recognition
graph network
human-object interaction (HOI)
knowledge distillation

期刊

IEEE Transactions on Cybernetics 封面图
IEEE Transactions on Cybernetics
IF:
10.5
论文数:
1.1W
被引数:
5.0W

机构

H
harbin institute of technology
学者数:
8.0W
论文数: 6.6W
被引数: 66
S
Shenyang Institute of Automation
学者数:
222
论文数: 90
被引数: 0
引用论文

引用论文

Cascaded Parsing of Human-Object Interaction Recognition
err2022-06-01
err0
PREAI
errTianfei Zhou; Siyuan Qi; Wenguan Wang; Jianbing Shen; Song-Chun Zhu
err分享
err收藏
err分享
err收藏
err分享
err收藏
Pose-Guided Hierarchical Semantic Decomposition and Composition for Human Parsing
err2023-03-01
err6
PREAI
errYang, Beibei; Yu, Changqian; Yu, Jin-Gang; Gao, Changxin; Sang, Nong
err分享
err收藏
err
IF0
err
err0
errOAAI
err
err分享
err收藏
End-to-End Human Object Interaction Detection with HOI Transformer
err2021-06-01
err0
errOAAI
errCheng Zou; Bohan Wang; Yue Hu; Junqi Liu; Qian Wu; Yu Zhao; Boxun Li; Chenguang Zhang; Chi Zhang; Yichen Wei; Jian Sun
err分享
err收藏
学者 查看更多内容