一种面向智能家居设备控制的多模态人机智能交互方法

摘要：

传统家居设备人机交互主要采用接触式控制方式,限制了用户双手的活动空间,难以满足日益繁多的智能设备控制便利性需求.而语音控制这种非接触的控制形式虽然解放了用户双手,能够提供自然的控制方式,但这种基于单模态的控制方式仍然存在识别准确率不高等问题.融合视觉、声音等多模态信息的方法,能够形成模态信息之间的互补性,已在多个领域得到成功应用.受此启发,针对上述家居设备人机交互控制两个方面的问题,提出一种融合语音识别与手势识别的多模态人机智能交互方法,实现高效准确的非接触式智能家居人机交互.首先,采用基于Keras搭建的CNN模型以及ResNet50两种网络模型得到两种手势控制命令识别结果;其次,通过语音识别及处理,形成文本控制命令识别结果;最后,对上述3种控制命令结果通过投票法进行多模态融合,选取概率最高的结果作为最终控制命令输出.其中,采用常用手势符号作为系统预定义手势标签,降低记忆的要求,方便用户使用.同时,针对家居控制手势图片数据集不足的情况,还构建了一个包含28105张图片的手势数据集.实验结果表明,多模态交互方式能够弥补家居设备单一控制交互的缺陷,并且提高了控制指令的准确性,准确率达96.33％.

关键词：智能家居、手势识别、语音识别、人机交互、模态融合

所属期刊栏目：6

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;江苏省"六大人才高峰"高层次人才项目;苏州市科技发展计划;江苏省研究生创新创业项目

在线出版日期：2021-08-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：190-196