行为关联网络:完整的变化行为建模

摘要：

针对视频中的完整行为建模,目前常用的方法为时间分段网络(Temporal Segment Network,TSN),但TSN不能充分获取行为的变化信息.为了在时间维度上充分发掘行为的变化信息,文中提出了行为关联网络Action-Related Network(ARN),首先使用BN-Inception网络提取视频中行为的特征,然后将提取到的视频分段特征与Long Short-Term Memory(LSTM)模块输出的特征拼接,最后进行分类.通过以上方法,ARN可以兼顾行为的静态信息和动态信息.实验结果表明,在通用数据集HMDB-51上,ARN的识别准确率为73.33％,比TSN提高了7％;当增加行为信息时,ARN的识别准确率将比TSN提高10％以上.而在行为变化较多的数据集Something-Something V1上,ARN的识别准确率为28.12％,比TSN提高了51％.最后在HMDB-51数据集的一些行为类别上,文中进一步分析了ARN和TSN分别利用更完整的行为信息时识别准确率的变化情况,结果表明ARN的单个类别识别准确率高于TSN 10个百分点以上.由此可见,ARN通过关联行为变化,对完整行为信息进行了更充分的利用,从而有效地提高了变化行为的识别准确率.

关键词：行为识别、行为关联网络、深度学习、计算机视觉

所属期刊栏目：47

分类号：TP391(计算技术、计算机技术)

在线出版日期：2020-09-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：123-128