Preference-Based Multi-Objective Reinforcement Learning

doi:10.1109/TASE.2025.3589271

2025-01-01

PRE

DOI：10.1109/TASE.2025.3589271

原文链接

原文求助

摘要

En 中文

多目标强化学习（MORL）是一种用于优化多目标任务的系统性方法。然而，它通常依赖于预定义的奖励函数，这些函数在平衡冲突目标时设计难度大，可能导致过度简化。偏好可以提供更灵活且直观的决策指导，无需复杂的奖励设计。本文介绍了基于偏好的多目标强化学习（Pb-MORL），其将偏好形式化地整合到MORL框架中。我们从理论上证明，偏好可以推导出整个帕累托前沿上的策略。为利用偏好引导策略优化，我们的方法构建了一个与给定偏好对齐的多目标奖励模型。我们进一步从理论上证明，优化该奖励模型等价于训练帕累托最优策略。在基准多目标任务、多能源管理任务以及多车道高速公路上的自动驾驶任务中的大量实验表明，我们的方法表现优异，超越了使用真实奖励函数的基线方法（oracle方法），凸显了其在复杂真实系统中的实际应用潜力。实践者须知—现实应用中普遍存在多冲突目标的决策问题，例如能源管理需平衡系统寿命、充放电周期和能源采购成本；自动驾驶车辆需平衡安全性、速度和乘客舒适度。虽然多目标强化学习（MORL）是解决此类问题的有效框架，但其对预定义奖励函数的依赖可能限制其在复杂情境中的应用，因为奖励函数设计往往难以完全捕捉任务的全部复杂性。本文引入基于偏好的MORL（Pb-MORL），利用用户偏好数据优化策略，从而消除了奖励设计的复杂性。具体而言，我们构建了一个与用户偏好对齐的多目标奖励模型，并证明优化该模型可推导出帕累托最优解。Pb-MORL有效且易于部署，有望应用于复杂系统，例如通过偏好反馈实现多能源管理，以及针对多样化场景自适应的自动驾驶策略。

Keyword:

Reinforcement learning

multi-objective optimization

preference-based optimization

Pareto efficiency