基于递归长短期记忆网络和镜头序列注意网络的视频摘要生成

摘要：

为解决基于长短期记忆网络LSTM的视频摘要生成方法当输入序列过长时LSTM网络中的记忆单元不能集中在长时间序列的跨度上.通过深度学习的方法研究了一种基于递归长短期记忆网络(ReLSTM)和序列注意(sequential attention,SSA)的视频摘要生成模型用以提高深度学习网络学习时序特征的能力.该模型使用ReLSTM网络提取时间特征.同时,利用SSA动态调整每个视频序列输入到ReLSTM网络中的特征权重.结果表明:在数据集TVSum上F1-score平均提高 2.5%,最高提高0.2%.在数据集SumMe上F1-score平均提高7.8%,最高提高3.4%.可见本文方法能有效地学习镜头之间的时序特征.

关键词：视频摘要、ReLSTM、镜头序列注意力、特征融合

所属期刊栏目：23

分类号：TP391.4(计算技术、计算机技术)

资助基金：甘肃省自然科学基金;甘肃政法大学重大科研创新项目;甘肃政法大学重大科研创新项目;甘肃省高等学校青年博士基金项目;甘肃省高等学校创新基金项目;甘肃省科技计划;兰州市人才创新创业项目

在线出版日期：2023-07-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：7852-7860