基于Swin Transformer和三维残差多层融合网络的高光谱图像分类

摘要：

卷积神经网络(CNNs)具有出色的局部上下文建模能力,被广泛用于高光谱图像分类中,但由于其固有网络主干的局限性,CNNs未能很好地挖掘和表示光谱特征的序列属性.为了解决此问题,提出了一种基于Swin Transformer和三维残差多层融合网络的新型网络(ReSTrans)用于高光谱图像分类.在ReSTrans网络中,为了尽可能地挖掘高光谱图像的深层特征,采用三维残差多层融合网络来提取空谱特征,然后由基于自注意机制的Swin Transformer网络模块近一步捕获连续光谱间的关系,最后由多层感知机根据空谱联合特征完成最终的分类任务.为了验证ReSTrans网络模型的有效性,改进的模型在IP,UP和KSC 3个高光谱数据集上进行实验验证,分类精度分别达到了98.65％,99.64％,99.78％.与SST方法相比,该网络模型的分类性能分别平均提高了3.55％,0.68％,1.87％.实验结果表明该模型具有很好的泛化能力,可以提取更深层的、判别性的特征.

关键词：高光谱图像分类、三维残差多层融合网络、自注意力机制、Swin Transformer、空谱联合特征

所属期刊栏目：50

分类号：TP751.1(遥感技术)

资助基金：云南省重大科技专项;国家自然科学基金

在线出版日期：2023-05-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：155-160