基于视觉语义联合嵌入和注意力机制的情感预测

摘要：

为了缓解图像视觉特征与情感语义特征之间存在的鸿沟,减弱图像中情感无关区域对情感分类的影响,提出了一种结合视觉语义联合嵌入和注意力模型的情感分类算法.首先利用自编码器学习图像的视觉特征和情感属性的语义特征的联合嵌入特征,缩小低层次的视觉特征与高层次的语义特征之间的差距;然后提取图像的一组显著区域特征,引入注意力模型建立显著区域与联合嵌入特征的关联,确定与情感相关的显著区域;最后基于这些显著区域特征构建情感分类器,实现图像的情感分类.实验结果表明,该算法有效地改进了现有的图像情感分类方法,显著提高了对测试样本的情感分类精度.

关键词：视觉情感预测、视觉语义联合嵌入、注意力机制、显著区域检测

所属期刊栏目：47

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家自然科学基金;广东省科技计划重点领域研发项目

在线出版日期：2020-11-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：250-254