.png){kind=icon}
返回
Temporal Predictive Coding as World Model for Reinforcement Learning
.png){kind=icon}
PRE
AI
DOI：10.1007/978-3-032-00800-8_13.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
部分可观测环境为强化学习（RL）带来了根本性挑战，要求智能体从不完整的感官输入中推断隐藏状态。我们提出将时间预测编码（TPC）作为世界模型嵌入RL智能体以解决此问题。通过持续预测未来观测结果，TPC构建了稳健的潜在表示，捕获关键状态信息和时序依赖关系。我们在具有不同感知模糊程度的网格世界环境中评估了该方法。在多个任务中，增强TPC的智能体始终优于或达到包括LSTM、RWKV、克隆结构认知图（CSCG）和情景控制智能体在内的强基线。对学习到的表示的分析表明，TPC有效解耦了底层状态结构，解决了感知歧义问题，并支持跨时间的泛化。这些结果表明，TPC使稳定的、可预测的内部状态得以形成，提高了样本效率和不确定性下的决策能力。我们的发现将预测编码确立为部分可观测场景中基于模型的RL的一个有前景的框架。
Keyword:
Temporal Predictive Coding
Model Based Reinforcement Learning
Partially Observable Environments
期刊
A
IF:
0
论文数:
31
被引数:
0
机构
引用论文
分享收藏分享收藏Improving Generalization for Temporal Difference Learning: The Successor Representation改进时间差异学习的泛化: 后继表示
OAAI
OAAI分享收藏Clone-structured graph representations enable flexible learning and vicarious evaluation of cognitive maps.png)
NATURE COMMUNICATIONSOAAI
NATURE COMMUNICATIONSIF15.7
OAAI分享收藏Predictive coding in the visual cortex: a functional interpretation of some extra-classical receptive-field effects视觉皮层中的预测编码: 对某些超经典接受场效应的功能解释
PREAI
分享收藏
查看更多内容