Time-Frequency Transformer: A Network for Sensor-Based Human Activity Recognition

doi:10.1111/coin.70225

Time-Frequency Transformer: A Network for Sensor-Based Human Activity Recognition

2026-03-26

0

PRE

AI

DOI：10.1111/coin.70225

原文链接

原文求助

摘要

En 中文

基于传感器的活动识别（HAR）在人与物体交互、健康监测和医疗保健等领域始终是一个重要的研究焦点。近年来，卷积神经网络（CNN）、长短期记忆网络（LSTM）和Transformer等深度学习模型作为HAR的有效解决方案，已引起研究人员的广泛关注。然而，一个显著的研究空白仍然存在：尽管大多数现有方法主要强调时序依赖性，但并未充分探索两个关键方面——频域特征和传感器轴之间的空间关系。这些元素可作为自然数据增强，并提供区分相似活动的关键互补信息。因此，基于前期工作，我们尝试通过加强频域依赖性和空间信息的融合来填补这一空白，提出了一种更鲁棒、更准确的HAR深度学习模型——时频Transformer（TF Transformer）。TF Transformer通过主通道利用传感器信号的时间-频域依赖性进行浅层特征提取，随后采用堆叠的Transformer编码器进行深度特征建模，最后聚合从辅助通道提取的时间-传感器特征以完成人类活动识别。此外，我们的网络模型集成了注意力机制，为每个传感器轴分配权重，从而适应多模态数据并放大有价值的信息以提升分类和识别精度。我们在PAMAP2、Opportunity和Skoda三个公开数据集上评估了该方法，分别取得了0.99、0.73和0.96的Macro F1分数。广泛的实验结果表明，与当前最先进的方法相比，我们的模型具有更高的准确性和更强的鲁棒性。

Keyword:

deep learning

human activity recognition

time-frequency dependency

Transformer

Time-Frequency Transformer: A Network for Sensor-Based Human Activity Recognition

摘要

期刊

机构

引用论文