基于注意力机制的3D卷积神经网络孤立词手语识别

摘要：

手语识别可以使聋哑人与健全人之间的交流更加便捷,随着深度学习领域的快速发展,手语识别领域迎来了新的机遇.本文以孤立词手语识别为研究对象,针对手语数据冗余、信息多的问题,提出了一种基于3D卷积神经网络的手语识别新方法.通过提取手部区域和关键帧去除手语视频中的冗余信息,改进C3D网络模型结构并引入注意力机制,重点关注语义信息丰富的视频帧,使用余弦退火学习率下降算法提高模型的收敛速度.在DEVISIGN-D手语数据集上,与3种手语识别算法做了实验对比,实验结果表明,该方法能很好地识别孤立词手语,top-5准确率达到了98.4％.

关键词：孤立词手语识别、3D卷积神经网络、注意力机制、关键帧

所属期刊栏目：32

分类号：TP391.4(计算技术、计算机技术)

资助基金：湖南省教育厅科研资助项目;湖南工程学院新工科人才科技创新创业能力培养基地项目;国家级大学生创新创业训练计划项目

在线出版日期：2022-04-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：55-60