DMSA-Net: a deformable multiscale adaptive classroom behavior recognition network

Chunyu Dong

doi:10.7717/peerj-cs.2876

2025-04-30

DOI：10.7717/peerj-cs.2876

原文链接

原文求助

摘要

En 中文

在教育智能化转型中，学生课堂行为的准确识别已成为提升教学质量与学习效能的关键技术之一。然而，在真实课堂场景的目标行为识别中，由于图像采集采用广角或全景图像，后排学生距离监控设备较远，其细微身体动作（如微小的张嘴闭合以判断是否在说话、精细的手指操作以区分阅读书籍或操作手机）难以识别。此外，前后排存在遮挡和尺度差异，这容易在检测过程中混淆和干扰目标特征，极大限制了现有视觉算法对课堂行为的准确识别能力。本文提出了一种可变形多尺度自适应课堂行为识别网络。为提升网络对细微行为现象的建模能力，在骨干网络部分引入了可变形自注意力dattention模块，动态调整感受野的几何形状以增强模型对感兴趣区域的关注。为提升网络对行为遮挡及不同尺度课堂行为特征提取与整合的能力，提出了一种多尺度注意力特征金字塔结构（MSAFPS），以实现多尺度特征融合后的多级特征聚合，减少前后排课堂行为间相互遮挡和尺度差异的影响。在检测部分，我们采用Wise Intersection Over Union（Wise-IoU）损失作为损失函数，通过增强评估框架中的丰富上下文线索以扩大其适用范围并提升网络的检测能力。大量实验结果表明，本文提出的方法在两个广泛采用的基准数据集SCB-Dataset3-S（Student Classroom Behavior Dataset-https://github.com/Whiffe/SCB-dataset）和本团队创建的目标检测数据集DataMountainSCB（https://github.com/Chunyu-Dong/DataFountainSCB1）（包含六种行为类型）上均优于其他竞争算法。

Keyword:

Classroom behavior recognition

Object detection

Attention mechanism

Feature fusion

IoU