视觉问答中问题处理算法研究

摘要：

当前对视觉问答(Visual Question Answering,VQA)建模的研究多种多样,但现有的VQA模型有一个共同的缺点:训练和推理较为耗时.研究表明,VQA模型中文本处理部分主要基于长短期记忆网络(Long Short Term Memory,LSTM),而VQA模型的整体性能也受制于文本处理部分的LSTM网络,由于LSTM网络具有循环的特性,LSTM网络中复杂的数据流难以有效利用GPU的并行计算优势来加速计算.针对以上问题,以优化模型的训练速度为目的,提出了一个新模型SCMP(Sim-ple Conv1d MaxPool1d)来代替LSTM网络处理输入模型的自然语言文本.在VQA2.0数据集上的实验结果表明,该模型与现有的模型相比训练速度提高了10倍,并且没有对VQA模型的精度造成损失.此外,文中提出了一种新颖的方法来对VQA2.0数据集中的文本数据进行数据增强.实验结果表明,数据增强可以提高VQA模型的精度,同时加速模型收敛,使用增强后的数据训练的模型(SCMP)在验证集上的评估分数为63.46％,优于目前现存的VQA模型.

关键词：视觉问答、自然语言处理、卷积神经网络、长短期记忆网络、词嵌入

所属期刊栏目：47

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;中国科学院战略性先导科技专项;上海市科学技术委员会科研计划项目

在线出版日期：2020-11-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：226-230