基于多模态自适应卷积的RGB-D图像语义分割

摘要：

随着深度传感器的出现,很多研究开始利用颜色和深度信息解决语义分割问题.现有方法未能充分利用颜色特征和深度特征的互补信息,并且通常利用固定权重的卷积核提取多尺度特征,易造成参数量冗余且无法进行在线自适应.为了解决上述问题,提出了一种基于多模态自适应卷积的RGB-D图像语义分割方法,通过引入轻量级的多模态自适应卷积生成模块,动态地生成多尺度自适应卷积核,将多模态特征的上下文互补信息嵌入卷积滤波器中,在卷积过程中充分利用了图像的内在信息,实现高效融合多模态颜色特征和深度特征.相比于传统的卷积方法和多尺度特征提取方法,文中方法有着更高的计算效率和更好的分割效果.在公开数据集SUN RGB-D和NYU Depth v2上的结果表明,文中方法的像素精准度、平均像素精度和交并比分别达到了82.5％,62.0％,50.6％和77.1％,64.2％,50.8％,均优于对比的RGB-D语义分割方法.

关键词：RGB-D语义分割、多模态融合、卷积神经网络、深度学习

所属期刊栏目：34

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家自然科学基金;北京市自然基金委-市教委联合资助项目

在线出版日期：2022-09-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：1272-1282