基于中文发音视觉特点的唇语识别方法研究

摘要：

随着深度学习的发展,唇语识别技术在英文方面取得了长足的进步,但针对中文无论是在数据集丰富性还是识别准确率上均存在一定的落差.通过分析中文发音的视觉特点,提出"视觉拼音",意图规避中文在视觉表达上的歧义性.为了验证视觉拼音的有效性,建立了中文句子级唇语识别模型CHSLR-VP.该模型是一个端到端结构,其中以视觉拼音为媒介,将视频帧序列转换成最终的汉字语句.通过实验得出,相比于其他唇语识别方法,基于视觉拼音建立的CHSLR-VP模型性能更优,证明了视觉拼音的参与可明显提高中文唇语识别的准确率,为将来的相关工作提供了基准.

关键词：唇语识别;视觉拼音;深度学习;卷积神经网络(CNN);序列到序列模型;注意机制

所属期刊栏目：58

分类号：TP391(计算技术、计算机技术)

资助基金：南京市产学研合作后补助项目201722025

在线出版日期：2022-03-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：157-162