.png){kind=icon}
返回
n -step temporal difference learning with optimal n
.png){kind=icon}
PRE
AI
DOI：10.1016/j.automatica.2025.112449.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
我们考虑在n步时序差分(TD)学习算法中寻找最优n值的问题。我们的优化问题的目标函数是平均均方根误差(RMSE)。我们通过采用一种涉及基于单次模拟的同时扰动随机近似(SPSA)过程的模型无关优化技术来找到最优n值。虽然SPSA是一种零阶连续优化过程，但我们通过使用随机投影算子将其适应于离散优化设置。我们通过证明使用零阶随机梯度搜索得到的n更新序列几乎必然收敛于一个相关微分包含的内部链传递不变集，证明了递归的渐近收敛性。这导致了离散参数序列收敛于n步TD中的最优n值。通过实验，我们表明对于任意初始值，我们的SDPSA算法都能达到最优n值。此外，我们通过数值评估表明，在基准强化学习任务中，SDPSA优于当前最先进的离散参数随机优化算法‘最优计算预算分配(OCBA)’。
Keyword:
n-step TD
temporal difference learning
simultaneous perturbation stochastic approximation
optimal parameter selection
reinforcement learning
