.png){kind=icon}
返回
Reinforcement learning for continuous-time optimal execution: actor-critic algorithm and error analysis
.png){kind=icon}
PRE
AI
DOI：10.1007/s00780-026-00589-5.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
我们提出了一种用于最优执行问题的演员-评论家强化学习（RL）算法。我们在著名的Almgren-Chriss模型下，通过允许随机策略，将均方变差目标与香农熵正则化相结合进行建模。我们以封闭形式获得了最优值函数和最优反馈策略，该策略为高斯分布。然后，我们利用这些分析结果来参数化我们的值函数和控制策略，以用于RL。虽然标准的演员-评论家RL算法交替进行策略评估更新和策略梯度更新，但我们引入了一个额外的校准步骤，这被证明对收敛至关重要。我们对算法进行了有限时间的误差分析，并证明在适当的步长条件下，算法呈线性收敛。我们在三种不同类型的基于Almgren-Chriss模型构建的市场模拟器中测试了我们的算法，这些模拟器基于订单流的历史数据和限价委托单簿的随机模型。实证结果表明，我们的算法优于传统的统计方法和基于深度学习的RL算法。
Keyword:
Reinforcement learning
Optimal execution
Stochastic control
Actor-critic method
Finite-time error analysis
Convergence analysis
C45
C61
G19
