基于差分注意力的时空小波分析视频预测算法

摘要：

针对视频预测中空间结构信息细节和时序运动依赖关系难以准确预测的问题,受人类视觉过程的启发,提出一种基于差分注意力机制的时空小波分析视频预测算法.首先利用时空小波分析模块对视频内容进行多频分解,增强模型对于高频细节信息以及过程性运动的理解能力;然后利用差分注意力机制指导模型更高效、合理地分配注意力资源,提升对瞬时运动特征的表达能力.在KTH,Cityscapes,BAIR,KITTI,Caltech Pedestrian数据集上的实验结果表明,所提算法在PSNR,SSIM,LPIPS评价指标上取得了比已有算法更优异的效果;同时,可视化的对比也表明所提算法的预测结果更加清晰.

关键词：视频预测;时序小波变换;注意力机制;空间小波分析

所属期刊栏目：34

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家重点研发计划;空间智能控制技术实验室开放基金

在线出版日期：2022-02-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：180-188