基于条件生成对抗网络的手语样本骨架缺失关节点修复

摘要：

计算机视觉技术由于受到遮挡、视角和光照等因素的影响,对手语样本骨架关节点的检测通常存在缺失,导致手语识别准确率降低.为此,提出基于条件生成对抗网络(CGAN)的手语样本骨架缺失关节点修复方法.首先,通过分析手语样本残缺骨架中关节点的缺失分布情况,构建缺失关节点分布概率模型;其次,对完整骨架引入分布概率模型生成的缺失关节点,将这些残缺骨架用于CGAN框架中生成器和判别器的训练,通过CGAN框架训练好的生成器能够以残缺骨架为条件生成没有缺失的骨架;最后,用生成骨架去补全残缺骨架,即完成了修复.在中国手语数据集CSL上开展实验,生成器迭代训练80次后,生成骨架与完整骨架的平均均方根误差从0.019减小到0.001;在修复骨架缺失关节点的手语样本上,搭建手语识别网络迭代训练120次,与未进行修复相比,其识别准确率从90.6％提升为99.6％.实验结果表明,该方法能够有效地修复缺失关节点,极大地提升手语识别准确率.

关键词：手语样本、缺失关节点、条件生成对抗网络、分布概率模型、手语识别

所属期刊栏目：35

分类号：TP391.41(计算技术、计算机技术)

资助基金：高等学校学科创新引智计划;上海市教委重点学科资助项目

在线出版日期：2023-05-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：423-433