基于神经元正则和资源释放的增量学习

摘要：

针对深度学习系统在增量式场景下进行图像分类时产生的灾难性遗忘问题,提出了一种基于神经元正则和资源释放的增量学习算法.该算法首先以贝叶斯神经网络为基础框架,以神经元为单位对输入权值进行分组,并按组将权值的标准差限制为相同的值;然后在训练过程中根据统一后的标准差对每组权值的调整执行相应强度的正则;最后通过在损失函数中引入决定释放比例和释放强度的因子,引导模型有选择地稀释部分权值的正则强度来保持模型的学习能力.在几个公开数据集上的实验结果表明,文中提出的方法可以更有效地发掘模型的持续学习能力,即使在容量有限的环境下,也能学习到一个性能更好的模型.

关键词：深度学习、灾难性遗忘、增量学习、神经元正则、资源释放机制、容量有限环境

所属期刊栏目：50

分类号：TP391.4(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;广西自然科学基金资助项目;广西无线宽带通信与信号处理重点实验室基金资助项目

在线出版日期：2022-07-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：71-79,90