.png){kind=icon}
返回
DeeP-Mod: Deep Dynamic Programming Based Environment Modelling Using Feature Extraction
.png){kind=icon}
PRE
AI
DOI：10.1007/978-981-95-1233-1_3.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
DeeP-Mod框架利用通过深度Q网络（DQN）训练的深度动态规划网络（DDPN）的特征构建环境模型。尽管深度Q学习在决策制定中有效，但由于混合的状态-动作表示，状态信息在更深的DQN层中丢失。我们通过使用动态规划（DP）训练DDPN来解决这个问题，其中值迭代确保输出代表状态值而非状态-动作对。从DDPN中提取特征可以保留状态信息，实现任务和动作集独立性。我们证明，可以使用从在相同问题上训练的原始DDPN中提取的特征来训练一个简化的DDPN。该简化的DDPN在噪声下收敛更快，并优于原始DDPN。最后，我们介绍了DeeP-Mod框架，它通过DDPN特征对动作的响应演化来创建环境模型。第二个DDPN直接从该特征模型而非原始状态学习，能够学习有效的特征-值表示，从而获得最优策略。DeeP-Mod的一个关键优势在于任何阶段都不需要外部定义的环境模型，使DDPN适用于广泛的环境。
Keyword:
Deep dynamic programming network
Neural network
Dynamic programming
Feature extraction
Feature-based model
Environmental modelling
Deep Q-Learning
期刊
A
IF:
0
论文数:
37
被引数:
0
机构
暂无机构信息
引用论文
.png){kind=icon}
分享收藏