多头注意力与语义视频标注

摘要：

在序列到序列的视频标注模型中,视频信息在经过编码之后被大幅压缩导致解码器端不能充分利用.为了解决这一问题,在模型中引入多头注意力机制和语义信息.多头注意力使得模型在生成不同的单词时可以焦距编码端视频信息的不同部分.语义信息由语义探测单元通过多标签分类方式生成视频的语义概率信息方式引入,给解码端提供额外指导,改进后的模型仍然是端到端的.实验结果表明,改进后的模型标注效果取得了显著的提升,采用的改进方法对提升标注能力有明显作用.

关键词：视频标注、多头注意力、语义信息

所属期刊栏目：56

分类号：TP391(计算技术、计算机技术)

资助基金：湖北省自然科学基金重点类项目No.2017CFA012

在线出版日期：2020-03-31（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：133-139