基于多模态深度融合的假消息检测

摘要：

智能检测虚假信息是社交网络中需要解决的重要任务之一.本文旨在识别同时包含图像和文字的多模态虚假消息.目前,针对多模态的虚假消息检测已有一些成果,但现有模型通过直接拼接各模态特征方式实现多模态利用,忽略了图像和文件之间的关系,无法有效地学习消息中文字和图像的深度融合表示,导致该种类型的虚假消息检测方法表现不佳.本文提出基于预训练模型的多模态融合假消息检测方法,充分利用社交媒体中大量的含有多模态数据的消息,实现对假消息的有效检测,通过不同的训练任务加强模型融合多模态信息的能力,最终学习一个多模态信息的表示辅助假消息识别.在新浪微博真实数据集上的实验结果表明,本文提出的基于预训练的检测模型取得了比当前主流方法更优的效果,同时,本文采用的模型能够缓解训练集和测试集分布不均衡导致的检测准确率下降问题.

关键词：虚假信息检测、预训练、多模态融合、社交网络

所属期刊栏目：32

分类号：TP391;TP181;G2

资助基金：国家重点研发计划;国家自然科学基金;国家自然科学基金

在线出版日期：2022-06-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：392-403