FIRE: A Failure-Adaptive RL Framework for Edge Computing Migrations

doi:10.1109/tsc.2025.3626791

FIRE: A Failure-Adaptive RL Framework for Edge Computing Migrations

2025-10-31

0

PRE

AI

DOI：10.1109/tsc.2025.3626791

原文链接

原文求助

摘要

En 中文

在边缘计算中，用户的服务配置文件因用户移动性而在边缘服务器之间迁移。强化学习（RL）框架已被提出用于此目的，通常在模拟数据上进行训练。然而，现有的RL框架忽略了偶尔的服务器故障，尽管这些故障很少发生，但会影响AR/VR和实时障碍检测等延迟敏感型应用。这些罕见故障因在历史训练数据中未能得到充分体现，给数据驱动的RL算法带来了挑战。我们引入了FIRE框架，该框架通过在边缘计算数字孪生环境中训练RL策略来适应罕见事件。我们提出了FIRE-ImRE，一种基于重要性采样的Q学习算法，该算法按其对价值函数的影响比例采样罕见事件。FIRE考虑了针对单个和共享服务配置文件的延迟、迁移、故障和备份放置成本。我们证明了FIRE-ImRE的有界性和收敛至最优性。接下来，我们引入了我们算法的新型深度Q学习（FIRE-ImDQL）和演员-评论家（FIRE-ImACRE）版本以增强可扩展性。我们将框架扩展以适应对罕见故障事件具有不同风险容忍度的用户。通过基于真实数据记录的实验，我们表明在发生故障的情况下，FIRE相比原始RL和贪婪基线减少了边缘计算成本。

Keyword:

Edge computing

service migration

resilient resource allocation

reinforcement learning

FIRE: A Failure-Adaptive RL Framework for Edge Computing Migrations

摘要

期刊

机构

引用论文