A Lightweight Frequency-Selection-Based Progressive Patch Transformer Network for Single Image Super-Resolution

doi:10.1109/TCSVT.2026.3663242

A Lightweight Frequency-Selection-Based Progressive Patch Transformer Network for Single Image Super-Resolution

2026-02-10

0

PRE

AI

DOI：10.1109/TCSVT.2026.3663242

原文链接

原文求助

摘要

En 中文

近年来，轻量级网络在单图像超分辨率（SISR）领域得到了广泛应用，这是由于资源受限设备的需求，其中分治多路径模型在性能和计算成本之间展现出优异的平衡。然而，大多数现有的分治多路径模型面临两大关键限制：1）由于仅依赖空间域处理，可能导致图像成分（如平滑区域、边缘和纹理细节）的次优解耦；2）无法显式建模全局依赖关系并捕捉结构信息，阻碍了性能的进一步提升。为解决这些缺陷，我们提出了一种基于频率选择的自底向上的渐进式块Transformer网络（FSPPTN），用于更高品质的SISR重建。具体而言，我们首先提出一个频率选择模块，其中我们开发了一个频率增强分支（FEB），通过引入基于窗口的快速傅里叶变换（WFFT）和可学习权重矩阵，动态解耦不同图像成分，并设计了一个空间恢复分支（SRB），通过多门控机制重构当前层级被FEB筛选出的成分信息，以重新校准和融合跨粒度特征。其次，我们提出一种轻量级多分支梯度引导的块间自注意力机制，通过利用一阶梯度的统计特性将每个块的结构信息汇总到低维空间中，从而显式捕捉全局结构相似性，实现全局依赖关系的显式建模和轻量化。大量实验结果表明，在绝大多数情况下，FSPPTN在性能和计算开销方面均优于当前最先进的轻量级SISR方法，特别是在×3和×4超分辨率任务中，例如在Manga109数据集的×4超分辨率任务中，FSPPTN的PSNR值甚至比MaIR-Small高出0.14dB，同时参数量减少48.3%，浮点运算量（FLOPs）降低63.5%。代码可在以下链接获取：https://github.com/yslyangshuli/FSPPTN-main

Keyword:

Single image super-resolution

lightweight

frequency selection

explicit global structural similarities

first-order gradients

A Lightweight Frequency-Selection-Based Progressive Patch Transformer Network for Single Image Super-Resolution

摘要

期刊

机构

引用论文