.png){kind=icon}
返回
Interactive Conversational Head Generation
.png){kind=icon}
OA
AI
DOI：10.1109/TPAMI.2025.3562651.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
我们介绍了一个新的对话头部生成基准，用于合成面对面对话中单个对话者的行为。自动合成能够参与长轮次多轮对话的对话者能力至关重要，并为数字人、虚拟代理和社会机器人等各种应用带来益处。而现有研究主要关注头部生成（单向交互），由于缺乏倾听和交互部分，阻碍了创建用于对话（双向）交互的数字人。在本工作中，我们构建了两个数据集以解决此问题，“ViCo”用于独立的说话和倾听头部生成任务（句子级别），以及“ViCo-X”，用于在多轮对话场景中合成对话者。基于ViCo和ViCo-X，我们定义了三个新任务，针对面对面对话中的交互建模：1）响应式倾听头部生成，使倾听者通过非语言信号主动响应说话者；2）表现力说话头部生成，引导说话者意识到倾听者的行为；3）对话头部生成，以将说话/倾听能力集成到一个对话者中。随着数据集的发布，我们还提出了针对上述三个任务的对应基线解决方案。实验结果表明，我们的基线方法能够生成响应迅速且生动的代理，能够与真人协作完成整个对话。
Keyword:
Conversational head generation
listening head generation
video synthesis
期刊
IF:
18.6
论文数:
1.1K
被引数:
9.8W
机构
引用论文
.png){kind=icon}
Towards Social Artificial Intelligence: Nonverbal Social Signal Prediction in a Triadic Interaction走向社会人工智能: 三元互动中的非语言社会信号预测
OAAI
OAAI分享收藏分享收藏
查看更多内容