Driver Gaze Zone Estimation Using Multi-Head Attention Graph Neural Network

Roksana Yahyaabadi

doi:10.1109/tits.2026.3713815

Driver Gaze Zone Estimation Using Multi-Head Attention Graph Neural Network

2026-07-22

0

PRE

AI

DOI：10.1109/tits.2026.3713815

原文链接

原文求助

摘要

En 中文

驾驶员注视区域估计在评估驾驶员视觉注意力方面发挥着关键作用。目前大多数先进的眼动估计模型依赖于基于外观的管道，以完整面部图像作为输入，并将图像像素直接映射到注视区域。这些模型必须通过深度卷积或Transformer网络提取精细视觉特征，这增加了驾驶员监控系统的计算成本和延迟，并限制了它们在资源受限环境中的部署。本文提出了一种多头注意力Transformer图神经网络（MHA-TGNN），一种基于面部特征点的轻量级注视区域分类方法。面部被表示为图，其中面部特征点作为节点，边表示空间关系。我们的模型通过图上的注意力机制利用节点坐标和边属性，捕捉眼部和头部运动的几何特征。除了高精度和效率外，提出的MHA-TGNN通过关注生理意义明确的特征点提供可解释性，并为多个驾驶员监控任务（包括眼动估计、疲劳检测和安全身份识别）奠定了基础，使用相同的特征点而不需要额外传感器。我们的完整流程（包括特征点提取、图构建和MHA-TGNN分类器）包含6.86M参数，需要3.97 GFLOPs，占用84 MB内存。在DMD和DGW数据集上分别达到82.56%和79.68%的准确率。注意力图分析显示关注眼相关区域（瞳孔、眼睑、虹膜）。该方法模态灵活（RGB/IR），对光照和头部姿态变化具有鲁棒性，且保护隐私，因为原始图像在特征点提取后可被丢弃。代码可在我们的仓库中获取：https://github.com/AiX-Lab-UWO/MHA-TGNN。

Keyword:

Gaze estimation

attention zone

graph neural network

Transformer

self-attention

attention weight

facial landmarks

Driver Gaze Zone Estimation Using Multi-Head Attention Graph Neural Network

摘要

期刊

机构

引用论文