Towards Native Generative Model for 3D Head Avatar

Yiyu Zhuang

doi:10.1016/j.fmre.2025.12.031

2026-02-27

DOI：10.1016/j.fmre.2025.12.031

原文链接

查看原文

摘要

En 中文

创建3D头部化身是一个重要但具有挑战性的任务，适用于许多应用场景。先前的研究尝试利用大量的2D图像数据学习3D人体头部生成模型。尽管这些模型在人体外观上具有高度的泛化能力，但其结果模型并非360°可渲染的，且预测的3D几何形状不可靠。因此，此类结果无法用于VR、游戏建模以及其他需要360°可渲染3D头部模型的场景。一个直观的想法是，少量但高3D精度的3D头部模型是训练高质量3D生成模型更可靠的训练数据。基于此思路，我们深入探讨了如何从有限的3D头部数据集中学习一个原生的360°全头部生成模型。具体研究了三个主要问题：1）如何有效利用各种表示方法生成360°可渲染的人体头部；2）如何解耦人脸的外观、形状和运动，以生成一个可通过外观编辑并由运动驱动的3D头部模型；3）以及如何扩展生成模型的泛化能力以支持下游任务。通过全面的实验验证了所提出模型的有效性。我们希望所提出的模型和艺术家设计的数据集能够启发未来从有限3D数据集学习原生3D头部生成模型的研究。

Keyword:

3D head avatar

Native 3D generative model

Disentanglement

3D Generation

AI总结

对已上传原文的论文进行重点信息的提取，主要内容包括：简要概述、研究摘要、背景介绍、关键亮点、图文解析、展望与总结。

期刊

Fundamental Research

IF:

6.3

论文数:

1.3K

被引数:

2.6K

机构

fudan university

学者数:

11.8W

论文数: 7.7W

被引数: 121

Nanjing University

学者数:

7.0K

论文数: 2.6K

被引数: 8.1W

引用论文

BP4D-Spontaneous: a high-resolution spontaneous 3D dynamic facial expression database BP4D-Spontaneous: 高分辨率自发三维动态面部表情数据库

IMAGE AND VISION COMPUTING

IF4.2

2014-10-01

492

PREAI

Zhang, Xing; Yin, Lijun; Cohn, Jeffrey F.; Canavan, Shaun; Reale, Michael; Horowitz, Andy; Liu, Peng; Girard, Jeffrey M.

Learning a model of facial shape and expression from 4D scans 从4D扫描中学习面部形状和表情模型

ACM TRANSACTIONS ON GRAPHICS

IF9.5

2017-11-20

413

PREAI

Li, Tianye; Bolkart, Timo; Black, Michael J.; Li, Hao; Romero, Javier

T. Kirschstein, S. Giebenhain, J. Tang, M. Georgopoulos, M. Nießner, Gghead: Fast and generalizable 3d gaussian heads, in: SIGGRAPH Asia 2024 Conference Papers, 2024, pp. 1–11.T. Kirschstein, S. Giebenhain, J. Tang, M. Georgopoulos, M. Nießner, Gghead: 快速且通用的3D高斯头部，载于：SIGGRAPH Asia 2024 Conference Papers, 2024, 第1–11页。

IF0

2024-12-03

PREAI

Tobias Kirschstein; Simon Giebenhain; Jiapeng Tang; Markos Georgopoulos; Matthias Nießner

Face Alignment in Full Pose Range: A 3D Total Solution 全姿态范围内的人脸对齐: 3D整体解决方案

IEEE Transactions on Pattern Analysis and Machine Intelligence

IF0

2019-01-01

OAAI

Xiangyu Zhu; Xiaoming Liu; Zhen Lei; Stan Z. Li

3D Morphable Face Models-Past, Present, and Future 3D可变形人脸模型-过去、现在和未来

ACM TRANSACTIONS ON GRAPHICS

IF9.5

2020-06-09

252

OAAI

Egger, Bernhard; Smith, William A. P.; Tewari, Ayush; Wuhrer, Stefanie; Zollhoefer, Michael; Beeler, Thabo; Bernard, Florian; Bolkart, Timo; Kortylewski, Adam; Romdhani, Sami; Theobalt, Christian; Blanz, Volker; Vetter, Thomas

Generative Adversarial Networks An overview 生成对抗网络综述

IEEE SIGNAL PROCESSING MAGAZINE

IF9.6

2018-01-01

2.4K

OAAI

Creswell, Antonia; White, Tom; Dumoulin, Vincent; Arulkumaran, Kai; Sengupta, Biswa; Bharath, Anil A.

Generative Adversarial Networks for Face Generation: A Survey 用于人脸生成的生成对抗网络: 一项调查

ACM COMPUTING SURVEYS

IF28

2022-12-03

PREAI