Chronologically consistent large language models

Songrun He

doi:10.1016/j.jfineco.2026.104374

Chronologically consistent large language models

2026-10-06

0

OA

AI

DOI：10.1016/j.jfineco.2026.104374

原文链接

原文求助

摘要

En 中文

大型语言模型在社会科学中的应用日益增多，但其训练数据可能引入前瞻性偏差和训练信息泄露。一个良好的时间顺序一致的语料模型需要高效利用训练数据，以在时间受限的数据下保持准确性。为此，我们通过训练一系列时间顺序一致的大型语言模型 ChronoBERT 和 ChronoGPT 来克服这一挑战，这些模型仅包含在特定时间点可用的文本数据。尽管存在严格的时序约束，我们的模型在自然语言处理基准测试中表现出色，优于或达到广泛使用的模型（如 BERT），并保持与更大规模的开放权重模型竞争力。前瞻性偏差具有模型和应用特定性，因为即使时间顺序一致的语料模型语言理解能力较弱，其上的回归或预测模型仍可进行补偿。在一个通过金融新闻嵌入预测次日股票收益的资产定价应用中，我们发现 ChronoBERT 和 ChronoGPT 的实时输出获得了与更大且可能存在偏差的 Llama 模型相当的夏普比率。我们的结果表明，一种可扩展的实用框架能够缓解训练信息泄露，确保在金融及其他社会科学领域中更可信的回测和预测。

Keyword:

G11

G12

G17

Large language model

Chronological consistency

Point in time

Lookahead bias

Training leakage

Backtesting

Chronologically consistent large language models

摘要

期刊

机构

引用论文