Event-based Optical Flow Using Spatio-temporal Registration

Zhichao Li

doi:10.1109/tpami.2026.3729469

Event-based Optical Flow Using Spatio-temporal Registration

2026-08-31

0

PRE

AI

DOI：10.1109/tpami.2026.3729469

原文链接

原文求助

摘要

En 中文

光流是各种与运动相关的视觉问题的基本信息：例如，SLAM、视觉里程计和物体运动估计。事件相机是用于需要光流估计的在线、动态任务的理想视觉传感器，因为它们具有高时间分辨率、高动态范围和低延迟。然而，在保持准确性的同时，从事件中高效解码光流以实现高频操作仍然是一个开放问题。基于批处理的光流算法（CNN或对比度最大化）在短时间内累积事件数据，在准确性方面达到最先进水平，但代价是算法延迟和较低的更新率（与传统相机相当）。相比之下，事件到事件算法仅在小局部区域计算流向量，实现较低延迟，但在忽略全局信息时损失准确性。在本文中，我们介绍了一个时空配准框架，以提高当前最先进的事件到事件流估计的准确性，同时引入了两倍的算法加速方法和一种实时实现策略，以减轻计算随事件率缩放的影响。我们在MVSEC上评估了我们的事件到事件光流算法，实现了事件到事件算法的最先进结果，并取得了与批处理方法相当的性能。我们的方法也是计算高效的，能够处理更高分辨率的DSEC数据集，并且是唯一一个被测试到完全实时运行的事件到事件算法。此外，我们通过ECD和高分辨率M3ED数据集上的定性评估展示了其有效性和效率。最后，我们介绍了一个移动对象数据集，该数据集不属于自动驾驶领域，用于评估所提出的光流算法的通用适用性。代码将以开源方式提供[代码在接收后可用]。

Keyword:

Event camera

Optical flow

Spatio-temporal registration

Real-time

Event-based Optical Flow Using Spatio-temporal Registration

摘要

期刊

机构

引用论文