基于混合Transformer模型的三维视线估计

摘要：

针对当前在无约束环境中,进行视线估计任务时准确度不高的问题,提出了一种基于混合Transformer模型的视线估计方法.首先,对MobileNet V3网络进行改进,增加了坐标注意力机制,提高MobileNet V3网络特征提取的有效性;再利用改进的MobileNet V3网络从人脸图像中提取视线估计特征;其次,对Transformer模型的前向反馈神经网络层进行改进,加入一个卷积核大小为3×3的深度卷积层,来提高全局特征整合能力;最后,将提取到的特征输入到改进后的Transformer模型进行整合处理,输出三维视线估计方向.在MPIIFaceGaze数据集上进行评估,该方法的视线估计角度平均误差为3.56°,表明该模型能够较为准确地进行三维视线估计.

关键词：三维视线估计、坐标注意力、深度卷积

所属期刊栏目：43

分类号：TP391.41(计算技术、计算机技术)

资助基金：北京市自然科学基金资助项目;北京市属高校青年拔尖人才培养计划资助项目

在线出版日期：2024-01-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：97-103