.png){kind=icon}
返回
A Neural Frame Streaming Framework with a Simultaneous Prior for End-cloud Collaborative Rendering
.png){kind=icon}
PRE
AI
DOI：10.1145/3832308.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
云端渲染因其通过将大部分渲染任务分布至云端以减轻客户端计算成本而近期备受关注，且渲染帧经压缩后流式传输至客户端设备进行显示。然而，云端渲染的可及性仍受限于高分辨率帧流式传输的网络通信成本。通过将神经网络引入视频压缩算法，SOTA方法实现了比现有视频编解码器（如H.265）更优的压缩率。然而，这些方法均未针对渲染内容进行专门设计，而运动矢量、漫反射率（albedo）和法线等特征在当前的渲染管线中易于获取。我们提出了一种新的端-云协同渲染与流式传输框架，该框架在端侧和云侧同时生成这些辅助特征作为先验信息，并利用该先验信息引导帧压缩的编码和解码过程。我们的框架能够使低端设备实现高端视觉效果，并降低建立高速网络连接的成本。结果表明，我们的流式传输管线效率极高，相较于标准视频编解码器及其他神经压缩方法实现了更高的压缩率。
