Transformer与卷积神经网络相结合的皮肤镜图像自动分割算法

摘要：

皮肤镜图像的病灶区域与背景像素相似度高,且病灶存在形状多样,边缘模糊,人工或毛发遮挡等情况,为了获得更高精度的皮肤病变分割,提出了一种皮肤镜图像自动分割算法.首先,使用ResNet 34提取多种分辨率特征,在上下文部分使用Transformer模块对输入的特征进行全局建模;其次,通过混合池化模块聚合上下文特征的多尺度信息,在对应连接编解码器的跳跃连接间设计一个高效卷积模块以提高跳跃路径的边缘细化和抗干扰能力;最后,利用解码器恢复图像分辨率,并逐层融合其他浅层分辨率特征,利用Focal Loss函数改善难分割目标的精度.文中算法在ISIC 2017,ISIC 2018数据集上获得的Dice系数、准确率、Jaccard指数、灵敏度得分分别为88.83％,94.77％,81.43％,88.49％和89.46％,94.50％,82.56％,94.62％,与其他算法相比具有一定的优势,证明了该算法的有效性.

关键词：Transformer、混合池、ResNet 34、高效卷积模块

所属期刊栏目：34

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家自然科学基金62063014

在线出版日期：2023-02-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：1877-1886