.png){kind=icon}
返回
Entropy Regularized Variational Dynamic Programming for Stochastic Optimal Control
.png){kind=icon}
PRE
AI
DOI：10.1109/tac.2026.3741797.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
本文研究了随机最优控制问题，其中状态反馈控制策略为概率分布，并在控制策略上施加额外的熵惩罚。我们将代价函数解释为两个联合分布之间的Kullback-Leibler（KL）散度，从而能够使用变分推断技术。该方法导出一个动态规划原理，该原理同样基于KL散度定义。在线性情况下，我们证明熵惩罚导致高斯控制策略，其均值与线性二次调节器（LQR）一致。此外，当状态无法直接测量时，我们可证明沿线性二次高斯（LQG）控制思路的分离原理。对于控制输入呈线性、代价为二次的非线性控制系统，我们利用变分框架，用高斯分布逼近最优解。这产生了闭式递归更新，扩展了传统的LQR控制。我们在仿真中验证了该方法的有效性。
Keyword:
Stochastic optimal control
Maximum entropy
Separation principle
Gaussian graphical models
