返回
Spherical Patch Generative Adversarial Net for Unconditional Panoramic Image Generation
DOI:10.1109/TIP.2025.3578257.png)
摘要
En 中文
近期虚拟现实(VR)和增强现实(AR)的进步推动了新兴的全景内容在沉浸式视觉体验中的普及。360°格式获取和显示的困难进一步凸显了无条件生成全景图像的必要性。现有方法本质上生成从全景图像映射的平面图像,未能解决在转换回全景图像时的变形和闭环特性问题,从而导致生成伪全景内容。本文旨在以分块方式直接生成球面内容;除计算友好外,这保证了全景图像的任意连续性并合理处理了全景变形。更具体地说,我们首先提出了一种新颖的球面分块卷积(SPConv),它作用于局部球面分块,自然解决了全景内容的变形问题。然后,我们提出我们的球面分块生成对抗网络(SP-GAN),该网络包含球面局部嵌入(SLE)和球面内容合成器(SCS)模块,无缝整合我们的SPConv,以生成连续的全景分块。据我们所知,所提出的SP-GAN是首次成功尝试以分块方式适应球面畸变,用于闭环全景图像生成的尝试。实验结果,包括人工评分评估,验证了在无条件生成全景图像方面的卓越性能,从生成质量、计算内存以及到各种分辨率的泛化能力等角度。代码可在https://github.com/chronos123/SP-GAN公开获取。
Keyword:
Panoramic image
spherical convolution
patch-based image generation
unconditional image generation
期刊
IF:
13.7
论文数:
1.0W
被引数:
8.4W
机构
引用论文
SphereDiffusion: Spherical Geometry-Aware Distortion Resilient Diffusion ModelSphereDiffusion:球形几何感知抗畸变扩散模型
Dream360: Diverse and Immersive Outdoor Virtual Scene Creation via Transformer-Based 360° Image OutpaintingDream360:基于Transformer的360°图像外延技术实现多样化和沉浸式户外虚拟场景创建

