结合注意力机制与几何信息的特征融合框架

摘要：

不平衡问题在现实世界中普遍存在,而不平衡数据的分布不平衡性会严重影响模型的性能.不平衡数据通常从两方面影响模型性能:一方面是数量上的不平衡导致多数类的数据对参数有更多的更新,导致模型更加偏向多数类;另一方面是少数类样本特别少,多样性不足从而导致模型表征能力不足.针对上述问题,提出了一个结合注意力机制与几何信息的特征融合框架.具体而言,该模型首先通过预训练使模型学习数据的语义信息和判别性信息,并结合注意力机制发掘模型对不同类别数据的关注点.在第二阶段,模型通过几何信息挖掘边界特征,并且结合第一阶段得到的注意力权重对边界特征进行融合,从而对少数类的数据进行补充.基于长尾CIFAR10,CIFAR100和KDDCup99数据集的实验结果表明,所提的结合注意力机制与几何信息的特征融合框架能够有效提升对不平衡数据的分类性能,并且对于不同类型的数据,包括图像数据和结构化数据,都能有效提高分类性能.

关键词：不平衡数据、特征融合、深度学习、注意力机制、几何信息

所属期刊栏目：49

分类号：TP183(自动化基础理论)

资助基金：上海市科技计划项目;上海市科技计划项目;国家自然科学基金;公安部重点实验室开放课题项目

在线出版日期：2022-05-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：129-134