.png){kind=icon}
返回
Optical flow estimation based on global cross information and dynamic encoder-dynamic decoder
.png){kind=icon}
OA
AI
DOI：10.1088/2632-2153/adc8fa.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
为解决全局视角缺失导致在估计大尺度运动和复杂场景时出现局部误估计和整体结构错位的问题，本文提出了一种基于全局交叉信息和动态编码器-动态解码器的光流估计方法。网络架构根据编码器和解码器数据流的流向分阶段改进。对于编码器，采用相对和绝对位置编码构建混合编码网络，并使用可学习权重动态调整混合位置编码信息以丰富全局和局部位置信息。对于编码器后的增强层，通过交叉注意力机制和前馈神经网络捕获输入序列的上下文信息，构建全局交叉信息注意力网络，在适应大尺度运动的前提下获取全局视角。对于解码器，结合双线性插值和可变形卷积构建动态各向异性上采样模块，通过调整采样点偏移量实现输入特征图的动态各向异性上采样，增强处理高分辨率细节和复杂运动边界的能力。最后，在端点误差值、估计时间和参数数量方面评估了所提出方法的表现。实验结果表明，与RAFT基准网络相比，本文模型在保留大尺度运动的全局特征和边缘细节信息的同时，未显著增加模型参数数量。
Keyword:
optical flow
dynamic encoder
dynamic decoder
global cross information
期刊
M
IF:
4.6
论文数:
1.1K
被引数:
3.4K
机构
引用论文
Occlusions, motion and depth boundaries with a generic network for disparity, optical flow or scene flow estimation遮挡、运动和深度边界：使用通用网络进行视差、光流或场景流估计.png)
OAAI
IF0
OAAI分享收藏Iterative residual refinement for joint optical flow and occlusion estimation迭代残差精炼用于联合光流和遮挡估计OAAI
IF0
OAAI分享收藏分享收藏
查看更多内容