.png){kind=icon}
返回
Data-efficient reinforcement learning by generalized value estimation
.png){kind=icon}
PRE
AI
DOI：10.1007/s10994-025-06763-8.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
解决序贯决策问题的一种有前景的方法是通过强化学习方法。阻碍强化学习在现实世界中应用的一个重要因素是其样本效率低下，这主要归因于价值估计所需的大量试错样本。减少拟合价值函数所需的环境样本数量已成为提高样本效率的关键。然而，在数据有限的情况下，过于频繁的策略迭代可能导致现有价值估计方法陷入过估计的陷阱。该问题源于某一类引导路径中价值偏差的累积。为解决此问题，本文设计了一种新颖的状态-动作价值估计方法，称为广义Q估计（QGene）。QGene基于一种新颖的广义Q函数，该函数评估任意长度状态-动作序列之后可生成的预期累积奖励。这种新定义的广义Q函数固有多重贝尔曼方程，使其能够通过适应不同目标并生成多样化的引导路径来缓解价值偏差的累积。此外，我们引入了一种保守估计技术以有效避免过估计。实验表明，QGene能够更准确地评估在线设置中的策略，并显著提升样本效率。
Keyword:
Reinforcement learning
Value estimation
Data efficiency
期刊
IF:
2.9
论文数:
2.7K
被引数:
3.4W
机构
引用论文
Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation使用RNN编码器-解码器学习统计机器翻译的短语表示
OAAI
OAAI分享收藏Air Learning: a deep reinforcement learning gym for autonomous aerial robot visual navigation.png)
MACHINE LEARNING
OAAI
MACHINE LEARNINGIF2.9
OAAI分享收藏
查看更多内容