返回
Quality-Preserving Extreme Image Compression: Using Interpretable Conditioning Inputs with Diffusion Models
DOI:10.1007/978-3-032-06066-2_23.png)
摘要
En 中文
扩散模型已经革新了图像合成,但其用于图像压缩的潜力尚未得到充分探索。我们引入了PLIC(伪有损图像压缩),一种利用扩散模型和条件输入的压缩框架,以在保持强感知相似性和卓越图像质量的同时实现高压缩率。与使用抽象潜在表示的传统神经压缩器不同,我们的方法使用可解释的条件输入(文本提示、坎尼边缘、调色板)来指导基于扩散的图像重建。基于率失真感知理论,PLIC优先最小化比特率和失真,而非像素级重建,允许扩散模型在解压缩过程中填充合理的细节,这仍然能实现高感知相似性。我们在490张真实世界图像上进行评估,展示了卓越的压缩率(平均每像素0.004比特和0.197比特),同时保持优异的图像质量(平均BRISQUE=23.36,平均CPBD=0.60)和高感知相似性。我们的方法随着图像分辨率的提高而有效扩展,在常见图像分辨率下压缩优势增长。我们分析了包括对互联网可负担性、档案存储和部署考虑在内的实际影响。我们的项目代码可在:https://github.com/PseudoLossy/PLIC。
Keyword:
Image Compression
Diffusion Models
Conditioning Inputs

