arrow
返回

Task–Adapted Learnable Embedded Quantization for Scalable Human-Machine Image Compression

delete2025-01-01
delete0
PRE
AI
S
Shaohui Li
S
Shuoyu Ma
W
Wenrui Dai
N
Nuowen Kan
F
Fan Cheng
李
李成林 (Chenglin Li)
邹
邹君妮 (Junni Zou)
熊
熊红凯 (Hongkai Xiong)
DOI:10.1109/tcsvt.2025.3525664delete
delete原文链接
delete分享
delete收藏
摘要

摘要

En 中文
针对人类和机器视觉的图像压缩已成为满足机器-机器和人类-机器通信日益增长需求的趋势。可扩展的人类-机器图像压缩最近正作为一种高效替代方案出现,旨在同时实现基础层对机器视觉的高精度和增强层对人类视觉的高保真重建。然而,现有方法通过启发式机制实现可扩展编码,无法充分挖掘层间相关性,并明显牺牲了率失真性能。在本文中,我们提出任务自适应的嵌入式可学习量化,以分析优化的方式解决这一问题。我们首先揭示了机器视觉和人类视觉潜在表示之间的关系,并证明通过对人类视觉学习表示进行后训练优化,可以近似获得机器视觉的最优表示。在此基础上,我们提出任务自适应的嵌入式可学习量化,利用可学习步长预测器为多样化机器视觉任务自适应确定最优量化步长,从而通过嵌入式量化充分挖掘机器视觉和人类视觉表示之间的层间相关性。此外,我们将所提出的嵌入式量化纳入预训练的图像压缩模型,开发了一种人类-机器可扩展编码框架。实验结果表明,所提出的框架在目标检测、实例分割和全景分割等机器视觉任务上实现了最先进性能,同时人类视觉的率失真性能损失可忽略不计。

期刊

IEEE Transactions on Circuits and Systems for Video Technology 封面图
IEEE Transactions on Circuits and Systems for Video Technology
IF:
11.1
论文数:
2.3K
被引数:
3.6W

机构

上海交通大学 封面图
上海交通大学
学者数:
1.3W
论文数: 3.9K
被引数: 8.7W
清
清华大学深圳国际研究生院
学者数:
373
论文数: 159
被引数: 6.5K
引用论文

引用论文

End-to-End Learning of Compressible Features
err2020-10-01
err0
errOAAI
errSaurabh Singh; Sami Abu-El-Haija; Nick Johnston; Johannes Balle; Abhinav Shrivastava; George Toderici
err分享
err收藏
Learned Progressive Image Compression With Spatial Autoregression
err2023-12-04
err0
PREAI
errTian,Wenxin; Li,Shaohui; Dai,Wenrui; Lu,Cewu; Hu,Weisheng; Zhang,Lin; Du,Junfeng; Xiong,Hongkai
err分享
err收藏
Nonlinear Transform Coding
err2021-02-01
err77
errOAAI
errBalle, Johannes; Chou, Philip A.; Minnen, David; Singh, Saurabh; Johnston, Nick; Agustsson, Eirikur; Hwang, Sung Jin; Toderici, George
err分享
err收藏
Overview of the Versatile Video Coding (VVC) Standard and its Applications
err2021-01-01
err0
errOAAI
errBenjamin Bross; Ye-Kui Wang; Yan Ye; Shan Liu; Jianle Chen; Gary J. Sullivan; Jens-Rainer Ohm
err分享
err收藏
Towards Coding for Human and Machine Vision: Scalable Face Image Coding
err2021-01-01
err39
PREAI
errYang, Shuai; Hu, Yueyu; Yang, Wenhan; Duan, Ling-Yu; Liu, Jiaying
err分享
err收藏
学者 查看更多内容