返回
KeypointNet: An Efficient Deep Learning Model with Multi-View Recognition Capability for Sitting Posture Recognition
DOI:10.3390/electronics14040718.png)
摘要
En 中文
大量研究利用姿态估计算法提取人体关键点数据,并对坐姿进行分类。然而,直接采用神经网络进行关键点分类往往效果不佳。另一方面,在分类前将关键点建模为其他数据表示形式会引入冗余信息,并显著增加推理时间。此外,现有方法大多仅在单一固定视角下表现良好,限制了其在包含未见视角的复杂真实场景中的应用。为更好地解决第一个局限性,我们提出了KeypointNet,该网络采用解耦特征提取策略,包含关键点特征提取模块和多尺度特征提取模块。此外,为增强多视角识别能力,我们提出了多视角模拟(MVS)算法,该算法通过先旋转关键点再重新定位相机来增强视角信息。同时,我们提出了多视角坐姿(MVSP)数据集,用于模拟多样化的真实世界视角。实验结果表明,KeypointNet在所提出的MVSP数据集及其他公开数据集上均优于其他当前最优方法,同时保持轻量级和高效的设计。消融实验证明了MVS及所有KeypointNet模块的有效性。此外,额外实验进一步凸显了KeypointNet在泛化能力、小样本学习能力以及对未见视角的鲁棒性方面的优势。
Keyword:
deep learning
computer vision
convolutional neural networks
sitting posture recognition

