基于深度学习的单目摄像头动态手势识别与交互

摘要：

现有手势识别的应用多为基于特定设备实现的,如Kinect、Leap motion等,因其价格和实用性的原因,无法得到大规模的普及.而单目摄像头则是电脑或移动设备最为常见的配件,结合相应手势识别与交互算法,便可以进行手势交互.因此文中研究了基于单目摄像头的手势识别与交互算法,通过单目摄像机捕捉图像,利用肤色进行图像分割,并根据轮廓面积去除噪点,得到手势图像的二值图,然后将二值图的矩阵作为参数传入神经网络进行深度学习模式识别,通过卷积加全连接网络结构和优化参数选择,以防止过拟合的产生,再结合指尖检测和排除算法,以提高识别精度.在手势交互方面则通过手势重心的改变来判断手势图像平面上的运动,并进行检测位移,防止识别到干扰物造成的手势图像位置突变.在手势的前后运动上,则通过手势图像大小,对不同手势进行面积补偿调整,减少因为手势不同带来的面积变化而造成的干扰.

关键词：深度学习、卷积神经网络、手势识别算法、手势交互

所属期刊栏目：26

分类号：TP183(自动化基础理论)

资助基金：国家自然科学基金61702140

在线出版日期：2021-05-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：30-38