SwapController: Toward Improving Identity and Attribute Control for Diffusion-Based Face Swapping

F. Liu

doi:10.1109/tvcg.2026.3702263

SwapController: Toward Improving Identity and Attribute Control for Diffusion-Based Face Swapping

2026-09-01

0

PRE

AI

DOI：10.1109/tvcg.2026.3702263

原文链接

原文求助

摘要

En 中文

为了实现高保真度和良好控制的生成效果，人脸交换方法努力追求这一目标。由于扩散模型具有出色的生成能力，它们提供了有前景的高保真解决方案。然而，其内在的随机特性使得对面部表示的精确建模变得复杂，为生成人脸的身份和属性一致性带来了新的挑战。在本文中，我们提出了一种基于扩散的人脸交换框架，命名为SwapController，该框架通过仔细建模面部身份和属性来实现高保真生成。具体而言，我们的面部建模主要涉及面部结构和面部纹理。对于结构建模，利用3D面部先验提供明确的结构监督，从而实现准确的头骨结构控制。在此基础上，提出了两个新组件，从身份和属性方面深入挖掘面部纹理表示。为了增强身份控制，从各种功能编码器中获取多粒度的源身份嵌入，以传达关键的全局身份和精细的身份细节。为了改进属性建模，通过对目标面部的最显著纹理属性特征应用身份调制来推导身份偏移属性嵌入。此外，根据扩散去噪特性，引入了一种时间步感知的身份优化目标，以优化身份一致性指南和整体保真度。大量实验表明，我们的SwapController在生成身份一致的人像图像的同时，忠实地保留了目标属性，其身份检索达到98.32，超过了当前最佳方法DiffSFSR 7.32个百分点。

Keyword:

Faces

Modeling

Noise reduction

Computers

Conferences

Training

Visualization

Computer vision

Videos

Optimization

Face swapping

diffusion models

identity transfer

SwapController: Toward Improving Identity and Attribute Control for Diffusion-Based Face Swapping

摘要

期刊

机构

引用论文