基于卷积神经网络的Leap Motion运动数据优化网络

摘要：

为提高Leap Motion设备的采集精准度,解决自遮挡、采样频率不稳定等设备固有问题,首先,设计了使用Leap Motion和动作捕捉设备的手部多模态同步运动采集方案,采集了日常动作数据集;其次,提出了基于卷积神经网络(convolutional neural network,CNN)的Leap Motion手部运动数据优化方法,使用日常动作数据集训练Leap Motion数据到动作捕捉数据的映射网络;最后,提出手指平面约束,确保网络输出数据保持稳定的手部骨骼结构.通过15名志愿者采集了6类动作共967550帧的同步运动数据集,进行了手指平面约束有效性、动作一致性实验,并与双向循环自编码器(bidirectional recurrent autoencoder,BRA)、双向编解码器(encoder-bidirectional-decoder,EBD)方法进行了精度对比.结果表明,文中方法支持使用Leap Motion获取固定采样频率且近似动捕设备精度的手部运动数据,效果较BRA和EBD更加稳定平滑.将文中方法应用于康复游戏中,明显减少了交互动作识别的错误次数.

关键词：运动数据优化、LeapMotion、卷积神经网络、多模态数据集、自遮挡

所属期刊栏目：33

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家自然科学基金;中央高校基本科研业务经费

在线出版日期：2021-03-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：439-447