.png){kind=icon}
返回
Optimized multi-modal action recognition using multi-agent systems and adaptive temporal attention
.png){kind=icon}
OA
AI
DOI：10.1038/s41598-026-58924-x.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
通过视觉输入进行人类动作识别面临诸多困难，这源于个体执行相同动作方式的多样性、动作内在的时间变化以及观察视角的差异。为解决单模态方法的局限性，研究人员日益采用多模态视觉数据融合策略。本研究提出了一种优化的深度学习模型，通过应用多智能体系统结合深度、骨架和惯性等多种数据模态进行动作识别。研究采用基于骨架关节位移的帧选择方法，并结合均匀重采样进行时空选择；此外，研究在深度选定的帧上使用HOG提取器，对骨架和惯性特征使用1D卷积块提取，并用LSTM处理时间模式。进一步开发了一种自适应交叉注意力方法，以动态评估和实施从每个输入模态学习到的长距离时间依赖关系的相对重要性。使用公开的UTD MHAD数据集评估了模型的有效性，结果显示其性能优于现有领先的动作识别技术，准确率达到96.99%。采用包括混淆矩阵、ROC曲线、t-SNE可视化和平均注意力热图在内的全面评估方法，确认了模型的鲁棒性并提供了性能洞察。结果表明该模型在利用多模态数据融合和复杂时间特征提取方面具有能力，为推动动作识别任务提供了有前景的策略。
期刊
IF:
3.9
论文数:
28.3W
被引数:
83.5W
机构
引用论文
分享收藏Context-Aware Cross-Attention for Skeleton-Based Human Action Recognition基于上下文感知的交叉注意骨架人体动作识别.png)
IEEE ACCESS
OAAI
IEEE ACCESSIF3.6
OAAI分享收藏Depth Sequential Information Entropy Maps and Multi-Label Subspace Learning for Human Action Recognition用于人体动作识别的深度序列信息熵图和多标记子空间学习IEEE ACCESSOAAI
IEEE ACCESSIF3.6
OAAI分享收藏Optimizing action recognition: a residual convolution with hierarchical and gram matrix based attention mechanisms优化动作识别：一种基于残差卷积以及层级和Gram矩阵注意力机制的算法Journal of Big DataOAAI
Journal of Big DataIF6.4
OAAI分享收藏Human action recognition using multi-stream attention-based deep networks with heterogeneous data from overlapping sub-actions基于重叠子动作异构数据的多流注意力机制深度网络的人体动作识别
PREAI
分享收藏
查看更多内容