复杂背景下基于深度学习的视频动作识别

摘要：

快速有效地识别视频中的人体动作,具有广泛的应用前景及潜在的经济价值.但目前的视频动作识别方法易受到运动人体晃动、背景变化、摄相机抖动、运动人体阴影等背景因素影响.为解决上述问题,本文提出一种非局域时间段网络方法.该方法在双流网络的基础上,通过加入非局域计算使网络能关注到更大时空范围的信息,并进一步融入光流信息使网络更精确地将注意力放在动作区域,从而增强对视频复杂静态背景的鲁棒性.此外,为了融合双流分段网络的多路判别结果,本文使用可学习的加权平均取代简单平均来融合多模态信息.经过在TDAP数据集上的实验验证,本文的模型可在复杂背景下较为精确地识别出人体动作,与原有模型相比在几乎不增加时间复杂度的前提下提升了识别性能.

关键词：动作识别、非局域模块、时间段网络、复杂背景、自注意力

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金资助项目;南航人工智能+项目

在线出版日期：2020-07-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：97-103