arrow
返回

Adaptive Memory Fusion for Multi-Frame Optical Flow Estimation

delete2025-07-14
delete0
PRE
AI
Y
Yibo Cui
S
Shangsheng Li
X
Xin Yang
王钢 封面图
王钢 (Gang Wang)
Y
Yizheng Wang
DOI:10.1016/j.neucom.2025.131005delete
delete原文链接
delete原文求助
delete分享
delete收藏
摘要

摘要

En 中文
多帧光流模型相较于双帧模型展现出更优的性能。然而,它们存在若干缺点,例如初始帧缺乏光流、输入帧数增加时计算负载急剧上升,以及帧整合时性能波动。为解决这些问题,我们基于自适应记忆融合(AMF)模块提出了AMFFlow,该模块通过记忆融合有效利用多帧信息,从而克服上述局限性。通过采用记忆融合机制,我们的方法能够高效利用多帧信息以估计更精确的光流,同时保持每帧恒定的计算成本。据我们所知,AMFFlow是首个能够有效利用帧信息进行光流估计的开创性模型。AMF模块以其低延迟和即插即用特性为特点。此外,我们提出了比例去偏端点误差(PDEPE),这是一种旨在解决数据集偏差导致的多帧光流模型评估误差的新型指标。大量实验结果表明,AMFFlow实现了当前最优(SOTA)的泛化性能。与竞争模型MemFlow相比,在Sintel Training Clean和Sintel Training Final数据集上的性能提升分别约为5.9%和3.9%。源代码和预训练模型将于https://github.com/keacifer/AMFFlow公开发布。

期刊

Neurocomputing 封面图
Neurocomputing
IF:
6.5
论文数:
2.5W
被引数:
6.5W

机构

暂无机构信息
引用论文

引用论文

err分享
err收藏
Deep learning in multiple animal tracking: A survey
err2024-09-01
err4
PREAI
errLiu, Yeqiang; Li, Weiran; Liu, Xue; Li, Zhenbo; Yue, Jun
err分享
err收藏
SplatFlow: Learning Multi-frame Optical Flow via Splatting
err2024-02-29
err2
PREAI
errWang, Bo; Zhang, Yifan; Li, Jian; Yu, Yang; Sun, Zhenping; Liu, Li; Hu, Dewen
err分享
err收藏
err分享
err收藏
Determining optical flow确定光流
err1981-08-01
err0
errOAAI
errBerthold K.P. Horn; Brian G. Schunck
err分享
err收藏
Visual inertia in apparent motion
err1987-01-01
err0
PREAI
errStuart Anstis; V.S. Ramachandran
err分享
err收藏
Real-time optical flow-based video stabilization for unmanned aerial vehicles
err2017-06-14
err0
errOAAI
errAnli Lim; Bharath Ramesh; Yue Yang; Cheng Xiang; Zhi Gao; Feng Lin
err分享
err收藏
Segmenting Objects From Relational Visual Data
err2022-11-01
err0
errOAAI
errXiankai Lu; Wenguan Wang; Jianbing Shen; David J. Crandall; Luc Van Gool
err分享
err收藏
学者 查看更多内容