基于多层卷积神经网络特征和双向长短时记忆单元的行为识别

摘要：

鲁棒的视频行为识别由于其复杂性成为了一项极具挑战的任务.如何有效提取鲁棒的时空特征成为解决问题的关键.在本文中,提出使用双向长短时记忆单元(Bi-LSTM)作为主要框架去捕获视频序列的双向时空特征.首先,为了增强特征表达,使用多层的卷积神经网络特征代替传统的手工特征.多层卷积特征融合了低层形状信息和高层语义信息,能够捕获丰富的空间信息.然后,将提取到的卷积特征输入Bi-LSTM,Bi-LSTM包含两个不同方向的LSTM层.前向层从前向后捕获视频演变,后向层反方向建模视频演变.最后两个方向的演变表达融合到Softmax中,得到最后的分类结果.在UCF101和HMDB51数据集上的实验结果显示本文的方法在行为识别上可以取得较好的性能.

关键词：行为识别、卷积神经网络、递归神经网络、双向递归神经网络

所属期刊栏目：34

分类号：TP273(自动化技术及设备)

资助基金：National Natural Science Foundation of China61170124, 61272258, 61301299, 61272005, 61572085;Provincial Natural Science Fo-undation of JiangsuBK20151254, BK20151260;Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University93K172016K08;a Prospective Joint Research Projects from Joint Innovation and Research Foundation of Jiangsu ProvinceBY2014-05914;Collaborative Innovation Center of Novel Software Technology and Industrialization

在线出版日期：2017-10-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：790-796