运用模态融合的半监督广义零样本学习

摘要：

映射域漂移和偏见性预测问题使得现有的方案无法很好地应对广义零样本学习挑战.在CADA-VAE模型的基础上,提出了基于模态融合的半监督学习方案,就如何利用未标注样本及语义辅助模型进行模态内自学习提供了一种思路.该方案使用潜层向量空间作为视觉和语义模态融合的桥梁,提出了视觉质心和异类语义潜层向量概念,用以指导模态间互学习;在交叉重构环节,以视觉质心为轴,将语义潜层向量交叉重构为此类的视觉特征;在特征编码环节,沿异类语义潜层向量的负方向将视觉特征编码为潜层向量;保证了生成的样本具有多样性的同时不失类间区分度.通过在三个基准数据集上进行对比实验,证明了该模型在识别精度上优于当下主流方案,并且能够很好地应对标注样本稀少的情况.

关键词：广义零样本学习;模态融合;半监督学习;视觉质心

所属期刊栏目：58

分类号：TP181(自动化基础理论)

资助基金：江苏省自然科学基金青年项目BK20150854

在线出版日期：2022-03-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：163-171