返回
Large model enhanced computational ghost imaging
DOI:10.1007/s11431-025-3062-3.png)
摘要
En 中文
鬼成像(GI)通过利用1D桶信号与2D光场信息之间的高阶相关性,实现了2D图像重建。它通过在散射介质中高效收集光子,展示了增强的检测灵敏度和高质量的图像重建。近期研究表明,深度学习(DL)可以显著提升GI的重建质量。此外,随着SDXL和GPT-4等大型模型的涌现,传统DL在参数和架构上的约束已被超越,使得模型能够全面探索特征序列中所有不同位置之间的关系。这一范式转变显著提升了DL在恢复严重降质和低分辨率图像方面的能力,使其在GI应用中的抗噪图像重建方面具有显著优势。本文提出了一种具有14亿参数的首个大型成像模型GILM(Ghost Imaging Large Model),该模型融入了GI的物理原理。所提出的GILM通过实现跳过连接机制来缓解深度架构中固有的梯度爆炸问题,确保足够的参数容量以捕捉单像素测量与物体之间的复杂相关性。此外,GILM利用多头注意力机制学习图像重建过程中像素点之间的空间依赖关系,促进后续重建中对物体信息的全面提取。我们通过一系列实验验证了GILM的有效性,包括模拟物体成像、自由空间物体成像以及水下环境中52 m处物体成像。实验结果表明,GILM有效捕捉了收集信号的波动趋势,从而促进了从采集数据中精确重建物体图像。最后,GILM成功部署在便携式计算平台上,展示了其在实际工程应用中的可行性。
Keyword:
computational ghost imaging
large model
speckle pattern
期刊
IF:
4.9
论文数:
5.0K
被引数:
9.9K

