基于整体和个体分割融合的双人交互行为识别

摘要：

在人类交互行为识别领域,基于RGB视频的局部特征往往不能有效区分近似动作,将深度图像(Depth)与彩色图像(RGB)在识别过程中进行融合,提出一种融合Depth信息的整体和个体分割融合的双人交互行为识别算法.该算法首先分别对RGB和Depth视频进行兴趣点提取,在RGB视频上采用3DSIFT进行特征描述,在Depth视频上利用YOLO网络对左右两人兴趣点进行划分,并使用视觉共生矩阵对局部关联信息进行描述.最后使用最近邻分类器分别对RGB特征和Depth特征进行分类识别,进一步通过决策级融合两者识别结果,提高识别准确率.结果表明,结合深度视觉共生矩阵可以大大提高双人交互行为识别准确率,对于SBU Kinect interaction数据库中的动作可以达90％的正确识别率,验证了所提算法的有效性.

关键词：交互行为、局部特征、视觉共生矩阵、深度特征、YOLO、决策级融合

所属期刊栏目：39

分类号：TP301.6(计算技术、计算机技术)

资助基金：辽宁省自然科学基金项目201602557;辽宁省科技公益研究基金项目2016002006;辽宁省教育厅科学研究服务地方项目L201708;辽宁省教育厅科学研究青年项目L201745

在线出版日期：2020-01-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：91-96