Knowledge Aggregation Transformer Network for Multivariate Time Series Classification

Zhiwen Xiao

doi:10.1109/TBDATA.2025.3594294

Knowledge Aggregation Transformer Network for Multivariate Time Series Classification

2025-07-31

0

PRE

AI

DOI：10.1109/TBDATA.2025.3594294

原文链接

原文求助

摘要

En 中文

多年来，针对多变量时间序列分类（MTSC）已出现多种复杂的深度学习算法，其中以双网络模型尤为突出。该模型由两个针对时间序列数据设计的并行网络组成：一个用于局部特征提取，另一个用于全局关系提取。然而，有效整合这两种网络构成了重大挑战。为解决此问题，我们提出了一种用于MTSC的知识聚合Transformer网络（KATN）。KATN由四个聚合Transformer块构成，能够提取数据中隐藏的丰富规则化和连接。每个块整合了一个改进的残差网络（MResNet）用于局部特征提取，以及一个多头注意力网络用于全局关系提取。首先，该块通过加法操作合并MResNet的输出特征与多头注意力网络的输出特征。随后，利用全连接（即密集）层对齐特征，并使用高斯误差线性单元（GELU）函数激活神经单元。这种策略性的特征聚合能够捕捉多变量时间序列数据中多变量之间的长距离依赖关系。实验结果表明，KATN显著优于6种Transformer变体，其‘胜’/‘平’/‘负’记录为9/6/15，并获得了最低的AVG_rank分数。此外，在与18种现有MTSC算法在13个UEA数据集上的对比评估中，KATN始终表现出更优性能，在所有比较方法中取得了最低的AVG_rank分数。

Keyword:

Data mining

deep learning

feature aggregation

multivariate time series classification (MTSC)

transformer

Knowledge Aggregation Transformer Network for Multivariate Time Series Classification

摘要

期刊

机构

引用论文