Preference-based probabilistic planning with partially-ordered temporal goals

Hazhar Rahmani

doi:10.1016/j.automatica.2026.112854

2026-02-23

PRE

Hazhar Rahmani

Abhishek N. Kulkarni *

Jie Fu

DOI：10.1016/j.automatica.2026.112854

原文链接

原文求助

摘要

En 中文

偏序偏好自然出现在人类和AI决策过程中，当智能体无法或不愿表达其偏好时。我们研究了马尔可夫决策过程（MDP）中自动合成策略的方法，以最大化对一组有限轨迹线性时序逻辑（LTLf）公式表示的偏序偏好的满足程度。LTLf公式上的偏序偏好给偏好满足策略合成带来了两个关键挑战：未排序的结果使传统的基于全序的方法不适用，且识别非支配策略需要评估MDP中所有有限路径上的概率分布，其中每条路径满足LTLf公式的子集，对此高效的计算模型尚未被探索。我们提出了两项关键贡献：首先，我们引入了一种新的计算模型，称为偏好确定性有限自动机（PDFA），用于表示LTLf公式子集上的偏序。我们提出了一个为给定LTLf公式集上的偏序构建PDFA的构造过程。其次，我们识别了序理论中研究的三种随机序，这些序可以将LTLf公式上的偏序转换为MDP中的策略偏序。对于这些随机序，我们证明了合成偏好满足策略等价于在由原始MDP、PDFA和随机序构建的多目标MDP中寻找帕累托最优策略。我们证明了我们过程的正确性，并通过两个受随机环境中机器人运动规划启发的研究案例展示了其适用性。

Keyword:

partial order preferences

Linear Temporal Logic on Finite Traces

Markov decision processes

preference deterministic finite automaton

stochastic orders