基于动态门控特征融合的轻量深度补全算法

摘要：

稠密深度图在自动驾驶和机器人等领域至关重要,但是现今的深度传感器只能产生稀疏的深度测量,所以有必要对其进行补全.在所有辅助模态中,RGB图像是常用且易得的信息.现今的许多方法都采用RGB和稀疏深度信息结合进行补全.然而它们绝大部分都是利用通道拼接或逐元素求和简单的对两种模态的信息进行融合,没有考虑到不用场景下不同模态特征的置信度.提出一种以输入深度稀疏分布为指导,结合双模态信息量的动态门控融合模块,通过动态产生融合权重的方式对两个模态特征进行更高效的结合.并且根据不同模态的数据特征设计了精简的网络结构.实验结果表明所提出模块和改进的有效性,提出的网络在两个有挑战性的公开数据集KITTI depth completion和NYU depth v2 上,使用了很少的参数量达到了先进的结果,取得了性能和速度的优秀平衡.

关键词：深度补全、特征融合、轻量模型、图像处理、自动驾驶

所属期刊栏目：34

分类号：TP18(自动化基础理论)

资助基金：国家重点研发计划;国家自然科学基金;国家自然科学基金;国家自然科学基金

在线出版日期：2023-04-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共14页

页码：1765-1778