Multi-Object Tracking and Spatio-Temporal Graph-Based Relational Pattern Mining

doi:10.3390/electronics15184086

Multi-Object Tracking and Spatio-Temporal Graph-Based Relational Pattern Mining

2026-09-11

0

OA

AI

DOI：10.3390/electronics15184086

原文链接

原文求助

摘要

En 中文

本文针对短时监控视频片段中的二元暴力分类任务，即判断给定片段是否包含暴力互动（Fight）或非暴力互动（Non-Fight）。尽管该任务常在智能城市、闭路电视（CCTV）网络和智能监控系统驱动下的基于视频的异常行为检测更广泛的背景下被讨论，但现有的暴力分类方法主要依赖单帧的外观特征或全局场景的运动线索，因此未能充分捕捉实际监控环境中多个对象之间的互动以及它们关系结构的变化。特别是，暴力行为很少由特定姿势或单一时刻定义；相反，它作为一个累积过程涌现，其中关系变化（如人际接近、距离变化、碰撞和重复接触）随时间展开。因此，准确检测此类行为需要一种能够以时空方式分析对象间关系的方法。为此，本文提出了一种结合多目标跟踪与时空图关系模式挖掘的暴力检测方法。该方法首先使用YOLO和DeepSORT检测并跟踪人物对象，提取包括位置、速度、姿态和对象间距离变化的时间序列特征，以构建时空图。然后从图的边特征生成关系事件序列，并通过基于区分能力的PrefixSpan频繁序列模式挖掘自动提取类代表性关系模式。同时，时空图被输入到时空图卷积网络（ST-GCN）中以学习对象间的结构关系及其时间演变。最后，将模式匹配分数和ST-GCN分类分数结合，以将每个输入视频分类为暴力或非暴力。通过联合利用可解释的关系模式信息和基于图的结构学习，所提出的方法弥补了以外观为中心的异常检测的局限性，并展示了其在复杂真实世界监控环境中的适用性。性能通过准确率、精确率、召回率和F1分数进行评估，其中召回率被视为主要指标，以反映不遗漏暴力事件的重要性。

Keyword:

violence detection

multi-object tracking

spatiotemporal graph

relational pattern mining

graph neural network

ST-GCN

Multi-Object Tracking and Spatio-Temporal Graph-Based Relational Pattern Mining

摘要

期刊

机构