Egocentric Videoconferencing

Mohamed Elgharib

doi:10.1145/3414685.3417808

Egocentric Videoconferencing

2020-11-27

7

OA

AI

DOI：10.1145/3414685.3417808

原文链接

查看原文

摘要

En 中文

我们介绍了一种以自我为中心的视频会议方法，该方法可以实现免提视频通话，例如佩戴智能眼镜或其他混合现实设备的人。视频会议描绘了有价值的非语言交流和面部表情提示，但通常需要前置摄像头。当人在移动时，在免提设置中使用前置摄像头是不切实际的。即使长时间坐在面前拿着手机摄像头也不方便。为了克服这些问题，我们提出了一种低成本的可穿戴自我中心相机设置，可以集成到智能眼镜中。我们的目标是模仿经典的视频通话，因此，我们将此相机的以自我为中心的视角转换为前置视频。为此，我们采用了条件生成对抗神经网络，该网络学习从高度扭曲的以自我为中心的观点到视频会议中常见的正面观点的过渡。我们的方法学习直接从以自我为中心的视图中转移表情细节，而无需使用复杂的中间参数表达式模型，因为相关的面部重演方法使用了该模型。我们成功地处理了不容易被基于参数blendshape的解决方案捕获的细微表达，例如舌头运动，眼睛运动，眨眼，强烈的表达和深度变化的运动。为了控制目标视图中的刚性头部运动，我们将生成器设置在移动中性面的合成渲染上。这允许我们在不同的头部姿势合成结果。我们的技术使用视频到视频翻译网络与时间鉴别器结合使用，实时生成时间平滑的视频逼真的渲染。我们通过与相关的最先进方法进行比较来证明我们技术的改进能力。

Keyword:

Videconferencing

Egocentric

Face Frontalisation

Neural Rendering

Reenactment

Face

Egocentric Videoconferencing

摘要

AI总结

期刊

机构