Policy transfer for HVAC control via implicit diffusion Q-learning

Yoonjee Jung

doi:10.1016/j.enbuild.2026.117897

Policy transfer for HVAC control via implicit diffusion Q-learning

2026-07-01

0

PRE

AI

DOI：10.1016/j.enbuild.2026.117897

原文链接

原文求助

摘要

En 中文

强化学习被广泛认可为一种有前景的数据驱动替代方法，可替代劳动密集型物理建模。然而，其实际效果可能受到真实世界运行数据稀缺的限制，这些数据通常表现出多样性有限和运行模式受限。这种有偏、不平衡或稀缺的数据可能限制对更广泛控制动作空间的探索，尤其是在训练数据集中在控制变量的狭窄范围内时。为解决此问题，我们提出了一种在Implicit Q-learning（IQL）架构内融入扩散模型的策略迁移框架。目标系统是位于韩国某酒店建筑中的变制冷剂流量系统的室外单元（ODU）。该ODU在连续两个夏季季节内仅在一个控制变量（目标低压）的狭窄范围内运行。为弥补数据覆盖不足，引入了来自医院建筑中三个结构相同ODU的补充数据集。随后，扩散模型被用于捕捉不同控制动作下的动态响应，并构建IQL策略，该策略随后应用于目标ODU的最优控制。奖励函数被设计为在保证所需热量移除的同时最小化压缩机变频器能耗。所提出的基于扩散的策略相较于基线IQL策略平均节能4.8%，相较于原始测量运行数据节能6.3%。这一改进伴随着动作分布的显著扩展，使策略能够超越基线IQL中观察到的狭窄均值寻求行为。通过利用多系统数据，所提出的框架学习到一组更广泛但物理上一致的控制动作，使智能体在可行范围内探索更高效的运行状态。结果表明，将策略知识从数据丰富的源系统迁移到数据稀缺的目标系统不仅增强了控制性能，还从根本上提高了实际暖通空调（HVAC）应用中学得动作空间的多样性和有效性。

Keyword:

Implicit diffusion Q -learning

reinforcement

learning

Implicit Q -learning

Diffusion model

Variable refrigerant flow system

Outdoor unit

Multi-system data

Policy transfer for HVAC control via implicit diffusion Q-learning

摘要

期刊

机构

引用论文