返回
Hierarchical motion magnification
DOI:10.1016/j.neucom.2025.130869.png)
摘要
En 中文
视频运动放大技术能够放大微小且难以察觉的变化,使其变得可感知。它具有广泛的应用,例如测量呼吸信号、分类微表情、远程测量微位移等。此外,其应用范围仍在持续扩展。现有的手工设计技术提供的解决方案效果较差,通常放大倍数较低,并且需要选择随视频变化的复杂超参数值。为了解决这些问题,基于深度学习的方法被引入。然而,它们在运动放大过程中对噪声相关的失真敏感。为应对这些挑战,我们提出了一种更具鲁棒性的分层网络用于视频运动放大。为减轻噪声放大和其他光照变化可能引起的失真,我们在放大前引入了基于边缘输入的多尺度调节器。此外,我们提出了一种新颖的基于对比学习的损失函数,以进一步增强放大过程对噪声的鲁棒性。为改善纹理质量,我们引入了一种多分辨率放大生成架构,其中包含放大解码块。它从低分辨率到高分辨率生成分层放大。我们将所提出网络的性能与当前最先进的方法在合成视频和自然视频上进行定性和定量比较。此外,我们还进行了消融研究以分析我们方法中的各个模块。结果表明,我们提出的基线模型和轻量级模型优于当前最先进的方法。
期刊
IF:
6.5
论文数:
2.5W
被引数:
6.5W
机构
暂无机构信息
引用论文
Deep sparse representation network for feature learning of vibration signals and its application in gearbox fault diagnosis基于深度稀疏表示网络的振动信号特征学习及其在齿轮箱故障诊断中的应用
Four-player GroupGAN for weak expression recognition via latent expression magnification通过潜在表情放大进行弱表情识别的四人组gan
Motion Magnification Applications for the Protection of Italian Cultural Heritage Assets
SENSORS
IF3.5

