.png){kind=icon}
返回
A Decomposition Optimization-Based Multiobjective Reinforcement Learning Algorithm for Obtaining Nonconvex Pareto Fronts
.png){kind=icon}
PRE
AI
DOI：10.1109/TNNLS.2025.3603165.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
多目标强化学习（MORL）旨在寻求多目标马尔可夫决策过程（MOMDPs）中具有不同折中策略的完整帕累托前沿（PF）。然而，目前大多数MORL算法在处理具有非凸PF的MOMDPs时存在局限性。在本文中，我们提出了一种基于分解和方差缩减的非线性MORL算法（MORL/D-VR）以克服这一局限性。MORL/D-VR采用切比雪夫方法将给定的MOMDP转换为一组单目标马尔可夫决策过程（MDPs），随后应用一种改进的策略梯度算法，称为期望效用策略梯度（EUPG），以高效地求解每个单目标MDP。我们分析了采用切比雪夫方法和使用完整回报更新策略的策略梯度方法求解MOMDPs的帕累托最优性。分析表明，在这种情况下，理论上可以识别任何帕累托最优策略，而与PF的形状无关。这可以为在MORL/D-VR中应用切比雪夫方法和EUPG以获得非凸PF内的策略提供理论保证。此外，我们为EUPG设计了一种新的基线以减少梯度更新的方差，并采用权重向量自适应方法以提高多样性。实验结果表明，MORL/D-VR在处理具有不同凸和非凸PF的问题时表现出良好的性能，并优于当前的最先进MORL算法。
Keyword:
Multiobjective Markov decision process (MOMDP)
multiobjective optimization (MOO)
multiobjective reinforcement learning (MORL)
Pareto optimality
Tchebycheff approach
期刊
IF:
8.9
论文数:
7.6K
被引数:
7.2W
机构
引用论文
An Improved Multiobjective Optimization Evolutionary Algorithm Based on Decomposition for Complex Pareto Fronts一种改进的基于复杂帕累托前沿分解的多目标优化进化算法
OAAI
OAAI分享收藏PA2D-MORL: Pareto Ascent Directional Decomposition Based Multi-Objective Reinforcement Learning
PREAI
分享收藏
Energy-Efficient Trajectory Optimization With Wireless Charging in UAV-Assisted MEC Based on Multi-Objective Reinforcement Learning基于多目标强化学习的无人机辅助MEC无线充电轨迹节能优化
PREAI
分享收藏分享收藏Examining multi-objective deep reinforcement learning frameworks for molecular design.png)
Biosystems
BiosystemsIF0
PREAI
分享收藏
查看更多内容