.png){kind=icon}
返回
A Robust Self-Supervised Spectral Vision Sensor
.png){kind=icon}
PRE
AI
DOI：10.1002/lpor.71921.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
计算成像通过将负担转移到算法来简化硬件复杂性，解锁了紧凑、高维视觉感知的潜力。自监督学习消除了对大规模数据集的依赖，但通常受限于高维重建中严重欠定的逆问题。在此，我们提出了一种用于高维视觉感知的通用硬件-算法协同设计范式，集成了混合时空编码与物理驱动的自监督学习，并开发了一种鲁棒的自监督光谱视觉传感器。核心重建引擎“运动感知未训练神经网络”（MAUNN）以零样本方式执行场景特定的离线重建，结合级联物理感知模块进行光谱恢复，以及坐标基隐式估计器进行运动建模。在曝光匹配评估下，MAUNN使用16个混合编码测量实现44.21 dB的PSNR和0.992的SSIM，达到与最先进有监督基线相当的重构精度，且无需配对训练数据。在复杂动态场景的广泛实验评估中，展示了鲁棒的时空-光谱重建，光谱保真度平均为0.997，均方误差为7.11 × 10⁻³，帧间波动极小，标准差为1.02 × 10⁻⁴。此外，我们在高通量生物医学显微术的大规模百万像素视场中验证了其可扩展性，它保持高精度以实现病理诊断的精确像素级语义分割。
Keyword:
artificial neural network
artificial intelligence
computer vision
spectral imaging