期刊专题

10.3969/j.issn.1006-2475.2022.04.018

基于音视一致性的音视人眼关注点检测

引用
现有音视人眼关注点检测算法使用双流结构分别对音视信息进行特征提取,随后对音视特征融合得到最终的预测图.但数据集中的音频信息和视觉信息会有不相关的情况,因此在音视不一致时直接对音视特征进行融合会使得音频信息对视觉特征产生消极的影响.针对上述问题,本文提出一种基于音视一致性的音视人眼关注点检测网络(Audio-vis-ual Consistency Network,AVCN).为验证该网络的可靠性,本文在现有音视结合的人眼关注点检测模型上加入音视一致性网络,AVCN对提取的音、视频特征进行一致性二值判断,二者一致时,输出音视融合特征作为最终的预测图,反之则输出视觉占主导的特征作为最终结果.该算法在开放的6个数据集上进行实验,结果表明加入AVCN模型的整体指标会有所提高.

计算机视觉、人眼关注点检测、音视一致性

TP391(计算技术、计算机技术)

2022-05-11(万方平台首次上网日期,不代表论文的发表时间)

共7页

103-109

暂无封面信息
查看本期封面目录

计算机与现代化

1006-2475

36-1137/TP

2022,(4)

专业内容知识聚合服务平台

国家重点研发计划“现代服务业共性关键技术研发及应用示范”重点专项“4.8专业内容知识聚合服务技术研发与创新服务示范”

国家重点研发计划资助 课题编号:2019YFB1406304
National Key R&D Program of China Grant No. 2019YFB1406304

©天津万方数据有限公司 津ICP备20003920号-1

信息网络传播视听节目许可证 许可证号:0108284

网络出版服务许可证:(总)网出证(京)字096号

违法和不良信息举报电话:4000115888    举报邮箱:problem@wanfangdata.com.cn

举报专区:https://www.12377.cn/

客服邮箱:op@wanfangdata.com.cn