多通路轻量化卷积神经网络的研究

摘要：

大量研究表明,卷积神经网络宽度展宽可以提取更加多元的特征,但对模型通道宽度进行展宽时,引起训练参数量呈二次增长,进而导致训练成本高与网络模型庞大的问题.针对上述问题,提出多通路模块,通过优化模块内部通路的运算结构,使得模型可以经济高效地提取多元特征.具体来说,与传统网络宽度展宽方式相比,多通路模块避免在通道维度上展宽,将展宽方式转移到通路维度,保证输出特征多样性的同时有效降低了模型参数量.由于网络深度加深更容易提取抽象的语义信息,多通路模块通过对各计算通路设定不同的卷积深度,使得模块具有多尺度特征提取能力,即使得输出特征中既包含细节位置信息,也包括逐渐抽象的语义信息.在研究过程中,利用注意力机制改善模块内通路关系时,发现注意力机制存在一定条件性.实验结果表明,由多通路模块组成的5.3 MB轻量化卷积神经网络,在CiFar-10上分类准确度比43.4 MB的Res-Net-18高出1.32％.对模型优化后(33 MB),分类准确度达到了95.15％,较SE-Net18(45.1 MB)精度提升0.65％.

关键词：多通路、轻量化、网络宽度、特征分布、注意力机制

所属期刊栏目：59

分类号：TP391(计算技术、计算机技术)

资助基金：河北省自然科学基金F2019208305

在线出版日期：2023-03-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：134-145