基于主动采样的深度鲁棒神经网络学习

摘要：

随着深度模型在许多实际任务中的广泛应用,提高模型的鲁棒性已经成为了机器学习的重要研究方向.最新的研究表明,通过对训练样本添加噪声扰动进行训练能有效地提升深度模型的鲁棒性.然而,该训练过程往往需要大量已标注样本.在许多实际应用中,准确地标注每一个样本的标记信息往往代价高昂且异常困难.主动学习是降低样本标注代价的主要方法,通过主动选择最有价值的样本进行标注,在提高模型性能的同时,能最大限度地降低查询标记的代价.提出一种基于主动采样的鲁棒神经网络学习框架,该框架能以较低的标注代价显著地提升深度模型的鲁棒性.在该框架中,基于不一致性的主动采样方法通过生成系列扰动样本并采用其预测差异来衡量每个未标注样本对提升模型鲁棒性的潜在效用,同时挑选不一致性值最大的样本用于深度模型的加噪训练.在基准图像分类任务数据集上进行的实验表明,基于不一致性的主动采样策略能以更低的样本标注代价有效地提升深度神经网络模型的鲁棒性.

关键词：深度学习、噪声干扰、主动学习、模型鲁棒性、不一致性

所属期刊栏目：49

分类号：TP181(自动化基础理论)

资助基金：科技创新新一代人工智能重大项目;国家自然科学基金

在线出版日期：2022-07-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：164-169