基于超图卷积结合底层特征学习的多模态融合方法

摘要：

多模态数据融合是针对单模态数据信息表达不充分而形成的一种数据处理方法,有利于更深层地挖掘和利用数据.然而,现存的多模态数据融合方法缺乏多模态数据之间复杂相关性的表示和处理.在数据相关性建模方面,超图能够很好地表示复杂数据之间的高阶关系,但容易覆盖底层特征.因此,该文提出一种基于超图卷积并结合底层特征学习的多模态融合方法.该方法首先根据多模态数据构造多模态超图,利用超图卷积获得节点高层特征表示,然后自适应学习节点底层特征权重,保留底层信息,最后将高层信息和底层信息融合,进行节点分类.通过物体识别实验,验证了底层特征的重要性.同时,在结构体健康监测的实际场景中,该方法能够很好地融合震电磁三场数据进行损伤等级判定.

关键词：超图卷积、数据特征、节点分类、多模态融合、结构损伤

所属期刊栏目：40

分类号：G202(信息与传播理论)

资助基金：中国矿业大学教学研究项目;国家重点研发计划;国家自然科学基金

在线出版日期：2023-07-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：33-39,46