整体与局部相互感知的图网络时序动作检测

摘要：

针对目前动作检测与定位方法未综合利用整体与局部相互感知的时空关系信息、不利于提升动作检测与定位性能的问题,提出整体与局部相互感知的图网络时序动作检测方法.该方法综合利用各动作提案的特征相似性和时序重叠度构建整体关系图推理子网络,通过学习获得提案,该提案包含更丰富的整体时空特征表示;利用提案发生的时间偏序关系,构建局部关系图推理子网络,该子网络包含多个级别三体相似图和三体互补图的结构,通过学习获得不同时间尺度下提案的局部关系信息;最后构成整体与局部关系相互感知的丰富特征表达,用于动作检测与定位.采用平均精度均值作为评价指标在2 个公开数据集(Thumos14 和ActivityNet1.3)上进行了试验.结果表明,与PGCN、G-TAD、TAL-Net、CDC等先进方法相比,文中方法能有效提高动作检测的性能.

关键词：计算机视觉、时序动作检测、注意力机制、整体与局部相互感知、图网络、时空特征表达

所属期刊栏目：45

分类号：TP391.9(计算技术、计算机技术)

资助基金：国家自然科学基金61672268

在线出版日期：2024-01-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：67-76