可靠多模态学习综述

姜远1杨杨2熊辉3詹德川1

1.南京理工大学; 2.南京大学;

摘要：

近年来,多模态学习逐步成为机器学习、数据挖掘领域的研究热点之一,并成功地应用于诸多现实场景中,如跨媒介搜索、多语言处理、辅助信息点击率预估等.传统多模态学习方法通常利用模态间的一致性或互补性设计相应的损失函数或正则化项进行联合训练,进而提升单模态及集成的性能.而在开放环境下,受数据缺失及噪声等因素的影响,多模态数据呈现不均衡性.具体表现为单模态信息不充分或缺失,从而导致“模态表示强弱不一致”“模态对齐关联不一致”两大挑战,而针对不均衡多模态数据直接利用传统的多模态方法甚至会退化单模态和集成的性能.针对这类问题,可靠多模态学习被提出并进行了广泛研究,系统地总结和分析了目前国内外学者针对可靠多模态学习取得…展开v

关键词：不均衡多模态数据、模态表示强弱不一致、模态对齐关联不一致、可靠多模态学习

所属期刊栏目：32

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金;江苏省自然科学基金;CCF-百度松果基金;百度TIC项目基金

在线出版日期：2021-04-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共15页

页码：1067-1081