Contextual reinforcement learning for market making via multi-task self-supervised learning

Pin-Yao Wen

doi:10.1016/j.engappai.2025.113196

Contextual reinforcement learning for market making via multi-task self-supervised learning

2025-11-19

0

PRE

AI

DOI：10.1016/j.engappai.2025.113196

原文链接

原文求助

摘要

En 中文

做市商通过同时提供买卖限价订单来提供流动性并赚取买卖价差，在现代金融交易中发挥着重要作用。近年来，针对做市等高频量化交易任务，已开发出多种深度强化学习技术。然而，由于金融市场的不确定性和多变性，交易领域的强化学习需要克服两大主要挑战：概念漂移和泛化能力不足。本研究提出了一种新颖的基于上下文的强化学习框架，用于训练通用的做市交易策略，该框架利用金融市场情绪指标作为上下文信息，使强化学习代理能够根据不同的市场环境调整其订单放置决策。随后，我们引入了一种自监督市场环境网络，该网络融合了多个带有金融领域知识的辅助任务，能够进一步提升代理对市场环境的敏感度和理解力。此外，我们采用了持续学习中的基于回放的方法，通过选择适当的历史环境进行策略微调，有效解决了概念漂移和灾难性遗忘问题。我们在台湾证券交易所加权股价指数（TAIEX）期权市场的真实逐笔数据上进行了实验。在相同的库存风险下，我们的策略在多个评估指标上持续优于当前最佳基线方法，展现出更优越的单位风险收益。这表明，我们提出的框架使模型能够适应样本外市场，即使在极端市场环境中也能规避风险并实现稳定盈利。

Contextual reinforcement learning for market making via multi-task self-supervised learning

摘要

期刊

机构

引用论文