Reinforcement Learning-Based Sequential Parameter Tuning for Image Signal Processing

Xinyu Sun

doi:10.1109/tpami.2025.3642837

Reinforcement Learning-Based Sequential Parameter Tuning for Image Signal Processing

2025-01-01

0

PRE

AI

DOI：10.1109/tpami.2025.3642837

原文链接

摘要

En 中文

硬件图像信号处理（ISP）通过一系列处理模块将RAW输入转换为高质量RGB图像，每个模块具有众多可调参数。传统上，这些参数由成像专家手动调整，这一过程耗时且主观。近年来，深度学习方法预测ISP参数，但常将过程视为黑箱，忽略ISP模块间的内在关系。为解决这些根本问题，我们提出一种基于单智能体强化学习（RL）的ISP参数优化模型（即SARL-ISP），将硬件ISP参数调优定义为序列优化问题。在优化过程中，智能体通过与环境交互更新不同任务的ISP参数调优策略。为探索硬件ISP模块的序列结构及参数间的耦合关系对调优过程的影响，我们进一步提出基于协作多智能体RL的序列ISP框架（即MARL-ISP）。具体而言，序列化参数调优模块（SPTM）真实模拟了手动预测和模块流水线过程。此外，特征选择模块（FSM）促进智能体特征的传输与融合，从而为下游任务选择更合适的特征输入。在多种任务（如目标检测、实例分割）上的广泛实验验证了模型的有效性和效率。即使在极少量训练数据下，我们的模型在定量指标和定性评估中均优于当前最先进方法。

Reinforcement Learning-Based Sequential Parameter Tuning for Image Signal Processing

摘要

期刊

机构

引用论文