.png){kind=icon}
返回
FocusViT: dynamic patch focus for transformer-based gaze estimation
.png){kind=icon}
PRE
AI
DOI：10.1080/01691864.2026.2642636.png)
.png){kind=icon}
原文求助.png){kind=icon}
分享.png){kind=icon}
收藏
摘要
En 中文
眼动信息是机器人理解用户注意力的一个重要信号。因此，已为眼动估计任务开发了多种先进模型架构，包括最近提出的视觉Transformer（ViT）。然而，由于块网格输入，原始ViT将精细的眼部细节分割到不同块中，并充斥来自额头、脸颊和背景的冗余信息。在本文中，我们介绍了FocusViT，一种轻量级且端到端可微分的框架，该框架将ViT适配用于眼动估计任务。它使用块翻译模块动态转换包含信息内容的块，然后采用扰动Top-K算子仅选择最具有信息量的块进行处理。通过这种方式，所提出的方法能够高效地利用全脸图像中最具有信息量的块来进行眼动估计任务。我们的实验表明，结合块翻译和选择可以降低ViT模型在ETH-XGaze和MPIIFaceGaze数据集上的眼动角度误差。广泛的消融研究证实，块翻译和令牌选择是互补机制，协同作用以提升模型性能。
Keyword:
Gaze estimation
transformer
region focus
期刊
A
IF:
2
论文数:
90
被引数:
3.1K
机构
引用论文
暂无论文信息