基于深度网络模型压缩的广告点击率预估模型

摘要：

针对广告点击率预估模型难以有效捕捉高阶特征组合的非线性关系且模型复杂度较高、实际应用困难的问题,从模型预估准确度和模型实用性出发,提出了基于深度网络模型压缩的广告点击率预估模型.该模型无需特征工程,利用多头注意力机制对全局特征的有效采样与预组合,结合深度神经网络(DNN),更好地捕捉全局高阶特征组合的非线性关系;结合残差网络对复杂网络的优势,提高深度神经网络的收敛效率,避免模型过拟合;经模型蒸馏得到轻量化模型,可以更好地应用于实际场景.在Avazu数据集上实验表明,该模型的预估准确率和运行速度均有优异表现.

关键词：点击率预估、深度学习、模型蒸馏、多头注意力机制、残差网络

所属期刊栏目：40

分类号：TP311.6(计算技术、计算机技术)

资助基金：国家自然科学基金;广西高校云计算与复杂系统重点实验室基金;桂林电子科技大学研究生教育创新计划

在线出版日期：2021-01-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：418-423