基于FuseNet的多模态融合图像分割网络

摘要：

现有的图像分割工作主要是利用CNN学习高层语义特征中的上下文信息,直接生成最终的分割模板,没有对图像中类别信息进行显式建模.因此,本文提出了基于FuseNet的多模态融合图像分割网络,其目的是在输入图像中通过语言表达生成对象的分割图像.模型由 3 个核心部件组成,分别是:多模态融合模块、定位模块和Segmentation Mask模块.视觉特征与语言特征的融合可以关注输入语言中多个指定类别的目标图像区域,然后根据对象的上下文生成一个关于对象的精细分割图像.实验结果表明,本文方法在真实环境中获得了最佳的mIoU值(52.1%),比仅在源数据上训练的模型增加了 15.5%.通过模型在数据集上的性能评估,利用对视觉和语言特征的显式建模,由此得到了比先前模型更精确的分割结果和更快的分割性能.

关键词：图像分割、深度学习、多模态融合、FuseNet

所属期刊栏目：13

分类号：TP391(计算技术、计算机技术)

在线出版日期：2023-10-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：11-16,24