arrow
返回

Integrated codec decomposed Transformer for long-term series forecasting

delete2025-05-27
delete0
PRE
AI
B
Benhan Li
W
Wei Zhang
M
Mingxin Lu *
DOI:10.1016/j.neunet.2025.107484delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
近年来,基于Transformer和多层感知器(MLP)的架构在时间序列预测领域形成了竞争格局。有证据表明,序列分解可以进一步增强模型感知时序模式的能力。然而,大多数现有的基于Transformer的分解模型逐步捕捉季节性特征,并协助添加趋势进行预测,但忽略了趋势中包含的深层信息,可能导致融合阶段的模式失配。此外,注意力机制的排列不变性不可避免地导致时序信息的丢失。在对注意力和线性层对序列组件的适用性进行深入分析后,我们提出使用注意力从趋势中学习多变量相关性,并使用MLP捕捉季节性模式。我们进一步引入了一个集成编解码器,为编码和解码阶段提供相同的多变量关系表示,确保时序依赖的有效继承。为缓解注意力过程中的序列性衰减,我们提出了趋势增强模块,该模块通过将序列扩展到更长的时间尺度来维持趋势的稳定性,帮助注意力机制实现细粒度特征表示。广泛的实验表明,我们的模型在大规模数据集上表现出卓越的预测性能。
Keyword:
Time series forecasting
Series decomposition
Integrated codec
Trend enhancement
Multivariate relationship

期刊

Neural Networks 封面图
Neural Networks
IF:
6.3
论文数:
8.2K
被引数:
3.0W

机构

N
Nanjing University of Posts and Telecommunications
学者数:
2.4K
论文数: 969
被引数: 1.2W
引用论文

引用论文

Transformers in Time Series: A Survey
err2023-08-01
err0
errOAAI
errQingsong Wen; Tian Zhou; Chaoli Zhang; Weiqi Chen; Ziqing Ma; Junchi Yan; Liang Sun
err分享
err收藏
err分享
err收藏
Detecting Novel Associations in Large Data Sets检测大型数据集中的新关联
err2011-12-16
err0
errOAAI
errDavid N. Reshef; Yakir A. Reshef; Hilary K. Finucane; Sharon R. Grossman; Gilean McVean; Peter J. Turnbaugh; Eric S. Lander; Michael Mitzenmacher; Pardis C. Sabeti
err分享
err收藏
err分享
err收藏
Transformers: State-of-the-Art Natural Language Processing
err2020-01-01
err0
errOAAI
errThomas Wolf; Lysandre Debut; Victor Sanh; Julien Chaumond; Clement Delangue; Anthony Moi; Pierric Cistac; Tim Rault; Remi Louf; Morgan Funtowicz; Joe Davison; Sam Shleifer; Patrick von Platen; Clara Ma; Yacine Jernite; Julien Plu; Canwen Xu; Teven Le Scao; Sylvain Gugger; Mariama Drame; Quentin Lhoest; Alexander Rush
err分享
err收藏
Machine Learning Advances for Time Series Forecasting时间序列预测的机器学习进展
err2021-07-01
err150
errOAAI
errMasini, Ricardo P.; Medeiros, Marcelo C.; Mendes, Eduardo F.
err分享
err收藏
Learning to Rotate
err2022-08-14
err0
PREAI
errWeiqi Chen; Wenwei Wang; Bingqing Peng; Qingsong Wen; Tian Zhou; Liang Sun
err分享
err收藏
学者 查看更多内容