Control Color: Multimodal Diffusion-Based Interactive Image Colorization

doi:10.1007/s11263-025-02549-6

Control Color: Multimodal Diffusion-Based Interactive Image Colorization

2025-08-18

0

PRE

AI

DOI：10.1007/s11263-025-02549-6

原文链接

原文求助

摘要

En 中文

尽管存在多种着色方法，但仍存在若干局限性，例如缺乏用户交互、局部着色不灵活、色彩渲染不自然、色彩变化不足以及色彩溢出等问题。为解决这些问题，我们引入了Control Color（CtrlColor）这一多模态着色方法，该方法利用预训练的Stable Diffusion（SD）模型，在高度可控的交互式图像着色方面展现出良好的能力（图1）。尽管已提出多种基于扩散的方法，但支持多模态着色仍非易事。本研究旨在解决无条件和条件图像着色（文本提示、笔触、示例）问题，并在统一框架内处理色彩溢出和色彩错误问题。除接受文本提示作为条件外，我们提出了一种有效的方法来编码用户笔触，以实现精确的局部色彩操控，并采用一种实用方法来学习示例中的隐式色彩分布，增强了我们方法的多功能性。我们还引入了一个基于自注意力机制和内容引导的变形自编码器的创新模块，以解决色彩溢出和色彩不准确这一长期存在的问题。广泛的比较表明，我们的模型在定性和定量方面均优于当前最先进的图像着色方法。项目页面：https://zhexinliang.github.io/Control_Color/

Keyword:

Image colorization

Diffusion model

Interactive control

Multi-modality

Control Color: Multimodal Diffusion-Based Interactive Image Colorization

摘要

期刊

机构

引用论文