.png){kind=icon}
返回
HA-ISP: Towards Human-Aligned automatic ISP hyperparameter tuning
.png){kind=icon}
PRE
AI
DOI：10.1016/j.eswa.2026.132282.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
图像信号处理（ISP）通过调整ISP管道中的抽象算法参数，将RAW传感器数据转换为满足多样化下游需求的高质量图像。近期研究探索了神经网络代理模型和强化学习（RL）在高维、非线性ISP参数空间中的自动优化，但现有方法通常存在复杂架构、泛化能力有限、奖励信号偏差以及在训练和推理过程中迭代策略不完整等问题，这些因素共同限制了它们在真实ISP系统中的部署。为解决这些挑战，我们提出了一种基于多模态大语言模型（MLLMs）的自动ISP参数优化框架。对于消费级相机ISP，我们设计了一个三阶段训练范式，包括监督微调、基于拒绝采样的数据过滤以及强化学习，并结合多维图像质量评估模型作为统一的反馈信号，以提高数据效率、简化训练流程，并实现更符合人类主观感知的调优结果。此外，我们引入了一种基于检索增强生成（RAG）的记忆增强迭代推理机制，利用推理过程中的历史信息显著提升调优效率和稳定性。总体而言，我们的方法为消费级相机建立了一种自动化且符合人类需求的端到端ISP调优范式，并且仅需轻量级自然语言适配，即可高效迁移至其他下游视觉任务，同时保持较强的性能。
Keyword:
ISP optimization
multimodal large language models
reinforcement learning
image quality assessment
retrieval-augmented generation
