.png){kind=icon}
返回
Hypergraph Mamba Reasoning-Based Social Relation Recognition
.png){kind=icon}
PRE
AI
DOI：10.1109/TIP.2025.3592551.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
从图像中识别社会关系对于提升机器对社会交互的感知至关重要。当前研究主要关注探索单类型关系推理框架，例如家庭中的父子、母子与儿子之间的关系。然而，现实场景通常涉及复杂的混合关系，如友谊关系和专业关系，这些关系由于难以在这些关系之间建立稳健的逻辑连接，给当前方法带来了挑战。事实上，在混合社会关系识别设置中，交互扩展到超越二元结构的多元结构。为了有效探索这些多元交互，我们提出了一种新颖的超图Mamba（HGM）框架。具体而言，我们构建了两种超图，即人物-人物超图（PPH）和人物-物体超图（POH），以建模这些高阶多元交互。HGM模块在这些超图结构中进行社会关系推理，其中包括一个顶点选择算法，通过过滤混淆因素来缓解推理混淆，以及一个顶点交互算子，通过捕捉长距离顶点依赖关系来寻找最优的全局顶点邻域。此外，提出了一种多级Transformer，以自适应地对齐PPH和POH推断的知识和视觉信号，促进信息融合。我们在多个公开数据集上验证了我们提出的HGM模型的有效性，并进行了广泛的分析研究，以阐明其优异性能的原因。实验结果表明，与当前最先进的方法相比，我们的HGM模型在预测社会关系方面取得了更优的准确性。代码和数据集可在以下地址获取：https://github.com/tw-repository/HGM-SRR
Keyword:
Social relation recognition
hypergraph mamba
vertex selection algorithm
vertex interaction operator
multi-level transformer
期刊
IF:
13.7
论文数:
1.0W
被引数:
8.4W
机构
引用论文
分享收藏THE MEANING AND USE OF THE AREA UNDER A RECEIVER OPERATING CHARACTERISTIC (ROC) CURVE受试者工作特征 (ROC) 曲线下面积的含义和用途.png)
RADIOLOGY
RADIOLOGYIF15.2
PREAI
分享收藏When I Fall in Love: Capturing Video-Oriented Social Relationship Evolution via Attentive GNN
IF0
PREAI
分享收藏
Personalized machine learning for robot perception of affect and engagement in autism therapySCIENCE ROBOTICS
OAAI
SCIENCE ROBOTICSIF27.5
OAAI分享收藏
查看更多内容