监督式多模态图像表征学习

摘要：

通过结合多模态特征与类别标签信息,提出一种基于监督式多模态词典学习的图像表征方法.首先使用纹理、颜色、形状和结构4种模态的视觉特征,以学习包含"共享+特有"信息的稀疏特征来描述目标的视觉特性;然后通过拉普拉斯正则化项使学习到的稀疏特征能够反映类别标签中的语义信息,以增强所学习特征的辨识力.通过图像分类进行实验的结果表明,该方法优于单模态特征及其他基准多模态特征学习方法.

关键词：多模态词典学习、监督学习、图像表征

所属期刊栏目：29

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金61379106;中央高校基本科研业务费专项资金13CX06007A, 14CX06010A, 14CX06012A;山东省自然科学基金ZR2009GL014, ZR2013FM036, ZR2015FM011

在线出版日期：2017-12-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：1997-2004