返回
Graph Topology-Guided Multi-Task Learning for Fall Detection
DOI:10.3390/s26175529.png)
摘要
En 中文
摔倒检测在复杂多人场景中面临视觉遮挡和尺度变化等挑战。为解决这些问题,本文提出了MTC-DETR,一种端到端的多任务协同检测框架。在特征提取骨干网络之后,MTC-DETR构建了动态尺度路由和任务调优编码器以适应尺度变化,该编码器整合了可变形大核注意力以增强跨尺度长程特征,并采用动态跨尺度融合和任务感知调度进行自适应多尺度聚集和任务特定特征校准。随后,设计了一种拓扑引导的双分支解码器用于目标检测和关键点检测。拓扑引导的局部-全局协同注意力通过多跳图卷积重建被遮挡的关键点,而跨分支姿态先验引导目标检测分支中的可变形交叉注意力采样,以增强定位鲁棒性。最后,引入同方差不确定性动态联合损失以解决多任务优化中的梯度冲突。实验结果表明,MTC-DETR在CAUCAFall、DiverseFall10500和MT-Fall数据集上分别取得了92.7%、88.9%和90.4%的mAP@0.5得分。所提出的框架优于14种当前最优方法,证明了其在真实世界摔倒检测应用中的鲁棒性和潜力。该模型已部署在乐聚Kuavo 5机器人上。部署实验结果显示,该模型在边缘计算平台上实现了44.2 FPS(INT8)的推理速度,满足摔倒检测的实时性要求。
Keyword:
fall detection
multi-task learning
graph topology prior
RT-DETR
occlusion robustness
期刊
IF:
3.5
论文数:
7.2W
被引数:
20.9W
机构
引用论文
Visionary vigilance: Optimized YOLOV8 for fallen person detection with large-scale benchmark dataset
Real-time video surveillance based human fall detection system using hybrid haar cascade classifier基于混合haar级联分类器的实时视频监控人体跌倒检测系统
Adaptive Multi-Task Learning for Multi-PAR in Real World孙, H.; 赵H.; 张W.; 徐L.; 管H. 实际场景中的多PAR自适应多任务学习. IEEE J. Radio Freq. Identif. 2024, 8, 357–366. [Google Scholar] [CrossRef] [Scilit]
Fall Detection Method for Infrared Videos Based on Spatial-Temporal Graph Convolutional NetworkJ. Yang, Y. He, J. Zhu, Z. Lv, W. Jin, 基于时空图卷积网络的红外视频跌倒检测方法,Sensors 24 (14) (2024) 4647.
Sensors
IF0
A hybrid human fall detection method based on modified YOLOv8s and AlphaPose基于改进YOLOv8s和AlphaPose的混合人体跌倒检测方法
SCIENTIFIC REPORTS
IF3.9
Hybrid Deep Learning for Human Fall Detection: A Synergistic Approach Using YOLOv8 and Time-Space Transformers用于人体跌倒检测的混合深度学习: 使用YOLOv8和时空转换器的协同方法
IEEE ACCESS
IF3.6
Interpretable and lightweight fall detection in a heritage gallery using YOLOv11-SEFA for edge deployment吴, S.; 杨, H.; 胡, Y.; 吉, X.; 程, S. 基于YOLOv11-SEFA的遗产画廊可解释轻量化跌倒检测边缘部署. Sci. Rep. 2026, 16, 7795. [Google Scholar] [CrossRef] [Scilit]

