针对长视频问答的深度记忆融合模型

摘要：

长视频问答包含丰富的多模态语义信息和推理信息.当前,基于循环神经网络的视频问答模型难以充分保存重要记忆信息、忽略无关冗余信息和实现记忆信息高效融合.针对该问题,依据记忆网络思想,提出一种深度记忆融合模型.本模型利用记忆网络的记忆组件有效保存视频剪辑及其字幕的融合特征,提出一种多模态相似性匹配方法过滤冗余记忆信息.经过卷积网络的初步融合和注意力机制的二次融合,生成整个视频的上下文表示,并进行答案生成.本模型在长视频剪辑MovieQA数据集上进行实验,平均准确率为39.78％,相较传统方法提升近10％且比当前最先进方法提升近5％,准确率提升明显,模型泛化性能好.

关键词：视频问答、长视频理解、记忆网络、注意力机制、多模态融合

所属期刊栏目：26

分类号：TP391.3(计算技术、计算机技术)

资助基金：国家自然科学基金;黑龙江省留学归国人员科学基金;黑龙江省普通高校基本科研业务费专项资金资助

在线出版日期：2021-05-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：1-8