基于并行多方向注意力的无监督视频目标分割

樊佳庆苏天康张开华刘青山

南京航空航天大学; 南京信息工程大学;

摘要：

时空特征传播对准确的无监督视频目标分割任务至关重要.但是,由于现实中视频的复杂性,导致时空特征学习与传播变得十分具有挑战性.在本文中,提出了两个新颖的模块分别用于增强视频中目标的空间和时间表示.具体来说,首先,针对当前帧,在空间上提出一个新颖的多方向注意力模块,旨在沿着水平、垂直与通道方向上分别提取注意力图.同时,设计了一个并行时序模块用于整合当前帧和之前帧的信息.该模块并行地计算出连续帧之间的二阶相似度,并且根据该相似度图重新对当前帧特征进行加权与增强.此外,该相似度图还直接生成一个有效的掩膜,用于进一步增广当前帧中目标的特征表示.接着,将上述空间和时间特征进行融合以获得最终增广的时空特征表示,并将…展开v

关键词：无监督视频目标分割、多方向注意力、时空调制、并行注意力

所属期刊栏目：45

分类号：TP391(计算技术、计算机技术)

资助基金：科技创新新一代人工智能重大项目;国家自然科学基金;国家自然科学基金;国家自然科学基金;江苏省333工程人才项目

在线出版日期：2022-12-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：2337-2347