Occasionally Observed Piecewise-Deterministic Markov Processes

Marissa Gee

doi:10.1007/s42967-025-00500-7

2025-09-01

PRE

Marissa Gee

Alexander Vladimirsky *

DOI：10.1007/s42967-025-00500-7

原文链接

原文求助

摘要

En 中文

分段确定性马尔可夫过程（PDMPs）常用于模拟全局环境或受控系统能力的突变。通常通过考虑一组运行模式（每种模式具有自身的系统动力学和性能指标）并假设模式能随机切换而系统状态持续演化来实现。此类模型在工程、经济学、制造业、机器人和生物科学等领域具有广泛应用。本文介绍并分析了一种模式切换PDMPs的偶现版本。我们展示了当规划者无法即时获知模式切换而只能依赖不频繁的模式观测时，此类系统如何实现最优控制。我们首先通过在更高维的模式-信念空间上应用动态规划，构建了一个通用处理框架。尽管该方法相当通用，但受维度灾难影响，其实际应用很少。随后，我们讨论了若干假设条件，这些条件使得问题求解效率显著提高，计算成本随模式数量线性增长（而非指数增长）。我们采用此方法推导出适用于不同规划时域（固定、无限、不确定和随机）和模式观测方案（固定时间或按需）的最优行为所对应的哈密顿-雅可比-贝尔曼（HJB）偏微分方程和准变分不等式。我们讨论了每种版本的计算挑战，并通过监控规避路径规划中的测试问题对所得方法进行了说明。此外，我们还包含了一个基于机器人导航的示例：一辆火星车在考虑未观测/渐进性损坏和改变动态的故障可能性时，最小化到达目标点的期望时间。

Keyword:

Piecewise-deterministic & switching processes

Partial observability

Stochastic optimal control

Hamilton-Jacobi-Bellman (HJB) PDEs

Path planning