ε-retraining reinforcement learning algorithms

doi:10.1007/s10458-026-09748-6

2026-05-04

DOI：10.1007/s10458-026-09748-6

原文链接

原文求助

摘要

En 中文

我们提出 \documentclass[12pt]{minimal} \usepackage{amsmath} \usepackage{wasysym} \usepackage{amsfonts} \usepackage{amssymb} \usepackage{amsbsy} \usepackage{mathrsfs} \usepackage{upgreek} \setlength{\oddsidemargin}{-69pt} \begin{document}$$\varepsilon $$\end{document}-retrain，一种通用的强化学习（RL）探索策略，它鼓励遵循行为偏好，同时保持底层RL算法的收敛性保证。\documentclass[12pt]{minimal} \usepackage{amsmath} \usepackage{wasysym} \usepackage{amsfonts} \usepackage{amssymb} \usepackage{amsbsy} \usepackage{mathrsfs} \usepackage{upgreek} \setlength{\oddsidemargin}{-69pt} \begin{document}$$\varepsilon $$\end{document}-retrain维护一个动态的重训练区域集合——状态空间中代理先前违反指定偏好的区域——并根据衰减参数 \documentclass[12pt]{minimal} \usepackage{amsmath} \usepackage{wasysym} \usepackage{amsfonts} \usepackage{amssymb} \usepackage{amsbsy} \usepackage{mathrsfs} \usepackage{upgreek} \setlength{\oddsidemargin}{-69pt} \begin{document}$$\varepsilon $$\end{document} 将标准均匀重启分布与这些区域的状态混合。这种混合重训练因此专注于在收集的区域中强制执行期望的行为。我们为基于策略和基于值的方法开发了理论，表明：(i) 在基于策略的设置中，我们的方法保留了单调改进界限；(ii) 在基于值的设置中，\documentclass[12pt]{minimal} \usepackage{amsmath} \usepackage{wasysym} \usepackage{amsfonts} \usepackage{amssymb} \usepackage{amsbsy} \usepackage{mathrsfs} \usepackage{upgreek} \setlength{\oddsidemargin}{-69pt} \begin{document}$$\varepsilon $$\end{document}-retrain在不附加额外假设的情况下保持收敛性。该方法易于集成到现有的RL算法中，并在测试的行走、电力系统和导航任务中提高了样本效率和行为一致性。这些结果将 \documentclass[12pt]{minimal} \usepackage{amsmath} \usepackage{wasysym} \usepackage{amsfonts} \usepackage{amssymb} \usepackage{amsbsy} \usepackage{mathrsfs} \usepackage{upgreek} \setlength{\oddsidemargin}{-69pt} \begin{document}$$\varepsilon $$\end{document}-retrain确立为一种轻量级、理论基础的机制，用于将行为偏好纳入RL。

Keyword:

Reinforcement learning

Formal verification

Safety