自动化张量分解加速卷积神经网络

摘要：

近年来,卷积神经网络(CNN)展现了强大的性能,被广泛应用到了众多领域.由于CNN参数数量庞大,且存储和计算能力需求高,其难以部署在资源受限设备上.因此,对CNN的压缩和加速成为一个迫切需要解决的问题.随着自动化机器学习(AutoML)的研究与发展,AutoML对神经网络发展产生了深远的影响.受此启发,提出了基于参数估计和基于遗传算法的两种自动化加速卷积神经网络算法.该算法能够在给定精度损失范围内自动计算出最优的CNN加速模型,有效地解决了张量分解中,人工选择秩带来的误差问题,能够有效地提升CNN的压缩和加速效果.通过在MNIST和CIFAR-10数据集上的严格测试,与原网络相比,在MNIST数据集上准确率稍微下降了 0.35％,模型的运行时间获得了 4.1倍的大幅提升;在CIFAR-10数据集上,准确率稍微下降了 5.13％,模型的运行时间获得了 0.8倍的大幅提升.

关键词：张量分解;卷积神经网络;自动化机器学习;神经网络压缩;神经网络加速

所属期刊栏目：32

分类号：TP183(自动化基础理论)

资助基金：国家自然科学基金61762089,61863036,61663047

在线出版日期：2021-12-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共14页

页码：3468-3481