门控多层融合的实时语义分割

摘要：

针对语义分割任务中因模型下采样过程中的像素损失而导致的上采样像素难以精确还原的问题,提出一种基于门控多层融合的实时语义分割方法.考虑分割的实时性,采用轻量级模型作为基础网络进行特征信息的提取.为解决像素难以精确还原问题,设计了一种横向连接的门控注意力结构,此结构可以对目标特征进行筛选,并通过横向传递增强上采样特征图信息的多样性,从而提高特征图的还原精度.此外,还提出采用多层融合结构来整合不同网络层的语义信息,利用不同网络层间的语义表达差异对缺失像素进行补充.实验以CamVid和VOC为数据集,以512×512大小的图像为输入,测试结果表明,方法的图像语义分割精度达到72.9％,平均分割速度为43.1帧/s.

关键词：图像语义分割、多层融合、门控注意力机制

所属期刊栏目：32

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家自然科学基金;广西自然科学基金2018GXNSFDA281009, 2017GXNSFAA198365, 2019GXNSFDA245018, 2018GXNSFDA29400;广西"八桂学者"创新研究团队;广西多源信息挖掘与安全重点实验室系统性研究课题;广西师范大学计算机科学与信息工程学院创新项目

在线出版日期：2020-09-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：1442-1449