基于迁移学习的跨对象手语手势识别方法

摘要：

手语是听障人士重要的交流工具,准确识别手语可以减少健全人和听障人士之间的交流障碍.一般深度学习识别模型的性能高度依赖于所采集的数据,这导致模型跨对象泛化能力较差.因此,通过迁移学习的方法设计一种具有跨对象泛化能力的手语手势识别模型.首先,使用 特征提取器融合表面肌电流(Surface Electromyography,sEMG)信号 和惯性传感器(Iner-tial Measurement Unit,IMU)信号.然后,提出一种域对抗训练方法,其可以仅依靠源域数据完成特征提取器和域分类器的对抗训练,实现特征提取从源域到目标域的迁移.最后,在手势分类器中利用域不变特征实现手语手势跨对象识别,提高了模型的泛化能力.实验表明,在包含200种手语手势共60000条手语样本数据集上,所提模型可将手语跨对象识别准确率提高到85.1％.

关键词：手语手势识别、特征融合、域对抗、迁移学习、特征迁移

所属期刊栏目：50

分类号：TP391(计算技术、计算机技术)

在线出版日期：2023-09-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：119-123