Data driven computer vision oriented image signal processing pipeline configuration

Wei Zhou

doi:10.1016/j.neucom.2026.134761

Data driven computer vision oriented image signal processing pipeline configuration

2026-08-10

0

PRE

AI

DOI：10.1016/j.neucom.2026.134761

原文链接

原文求助

摘要

En 中文

相机系统中的图像信号处理（ISP）流水线传统上是为人类视觉设计的。面向人类视觉的ISP流水线独立于计算机视觉系统的后端视觉算法进行优化，这可能导致整个系统的次优解。为寻找适用于视觉任务的ISP流水线的最优配置，本文提出了一种结合监督学习和强化学习的混合框架，以在统一框架中协同设计这两个部分。为此，设计了一个ISP策略网络ISPNet，用于针对特定的计算机视觉任务，根据给定的输入RAW图像输出以视觉性能为导向的ISP配置。具体而言，ISPNet与视觉任务模型一起训练，其输出策略旨在在尽可能绕过尽可能多的ISP步骤（以减少整体计算复杂度）的同时最大化与视觉性能相关的奖励。在分类和目标检测的基础上进行了大量实验。结果表明，如果后续消费者是计算机视觉任务而非人眼，则整个ISP流水线或大多数ISP阶段可以被消除。在RAW图像上训练的模型在大多数正常拍摄条件下对于分类和目标检测等任务具有足够的鲁棒性。还表明，对于具有专用预处理和/或数据增强的任务，去马赛克步骤是必要的，因为它可以抵抗插值伪影并提高模型的泛化能力。而在退化条件下（即模拟低光加高斯噪声），所提出的动态配置框架在模型性能方面优于固定策略。

Data driven computer vision oriented image signal processing pipeline configuration

摘要

期刊

机构

引用论文