mmMulti: Multi-person Action Recognition Based on Multi-task Learning Using Millimeter Waves

doi:10.1145/3729461

mmMulti: Multi-person Action Recognition Based on Multi-task Learning Using Millimeter Waves

2025-06-18

0

PRE

AI

DOI：10.1145/3729461

原文求助

摘要

En 中文

基于毫米波（mmWave）的动作识别已在多个领域展现出巨大潜力。然而，当前最先进的技术在多人动作识别（包括交互式动作识别）方面仍存在不足。本文提出了一种基于多任务学习的毫米波多人动作识别方法mmMulti。为此，我们首先对毫米波数据进行分离，并将其分配给多个个体，同时提出两种新的输入数据——压缩多普勒图（CDM）和点轨迹片段（PTS）——以表征动作的模式和序列特征。接着，我们利用ConvNeXt从CDM中提取模式特征，并利用Transformer从PTS中提取序列特征，通过交叉注意力机制进行融合。最后，我们定制设计了一个多任务学习模型，用于识别多个同时存在的个体所执行的独立动作和交互动作，使mmMulti能够识别单人动作、多人独立动作和多人交互动作。我们将mmMulti部署在商用毫米波雷达上，并进行了大量实验。实验结果表明，mmMulti在单人动作识别上的准确率达到99.64%，在两人独立动作识别上的准确率为91.03%，三人独立动作识别准确率为72.38%，四人独立动作识别准确率为64.75%，而在两人交互动作识别上的准确率达到100%。据我们所知，mmMulti是毫米波传感领域首次基于多任务学习模型同时区分多人场景中独立动作和交互动作的工作。

Keyword:

mmWave

action recognition

multi-person

interactive actions

multi-task learning

mmMulti: Multi-person Action Recognition Based on Multi-task Learning Using Millimeter Waves

摘要

期刊

机构

引用论文