ConTemPreT: Contextual temporal pre-trained transformer-based forecasting

doi:10.1007/s10489-026-07423-7

ConTemPreT: Contextual temporal pre-trained transformer-based forecasting

2026-08-25

0

PRE

AI

DOI：10.1007/s10489-026-07423-7

原文链接

原文求助

摘要

En 中文

基于变换器的预训练基础模型在时间序列预测领域最近出现为一种有前景的方向。然而，大多数基础模型依赖于单任务预训练方法，这限制了泛化能力，引入了对特定方面的偏差，并降低了鲁棒性。为解决这些局限性，我们提出了ConTemPreT，一种通过顺序多任务机制进行预训练的新型变换器基础模型，该机制结合了自监督掩码自编码和对比学习。基础模型在通用数据集上进行预训练，随后在任务特定级别上进行微调。实验结果表明，所提出的模型在大多数少样本预测设置中优于所有基准模型，并在多个零样本预测数据集上超越了基线；然而，在全样本预测设置下的性能需要进一步改进。跨域消融研究验证了所提出模型的可泛化性以及每个组件的单独贡献。

Keyword:

Contrastive learning

Forecasting

Masked autoencoder

Pre-training

Transformers

ConTemPreT: Contextual temporal pre-trained transformer-based forecasting

摘要

期刊

机构

引用论文