多尺度输入3D卷积融合双流模型的行为识别方法

摘要：

基于视频的行为识别技术在计算机视觉领域有广泛的应用.针对当前存在的网络模型不能有效结合视频数据中的时空信息,并且缺乏对不同尺度数据之间的融合信息进行考虑等问题,提出一种结合双流网络以及3D卷积神经网络的多尺度输入3D卷积融合双流模型.首先利用2D残差网以及多尺度输入3D卷积融合网络获取视频中的时空维度信息;然后将2层网络得到的实验结果进行决策相加,有效地提升网络对视频中时空特征提取的能力;最后通过在多尺度输入3D卷积融合网络对不同尺度的数据进行不同策略的融合,提高了网络对不同尺度数据的泛化能力.实验结果表明,文中模型在数据集UCF-101以及HMDB-51的识别准确率分别为90.5％与66.3％;相比于其他方法,该模型能取得更高的识别精度,体现出文中方法的优越性与鲁棒性.

关键词：行为识别、3D卷积、深度学习、多尺度输入、信息融合

所属期刊栏目：30

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家自然科学基金61503192, 61773377;江苏省自然科学基金BK20161533

在线出版日期：2018-11-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：2074-2083