NeuronSup:基于偏见神经元抑制的深度模型去偏方法

摘要：

随着深度学习的广泛应用,研究者在关注模型分类性能的同时,还需要关注模型的决策是否公平可信.存在决策偏见的深度模型会造成极大的负面影响,因此如何维持深度模型的分类正确率,同时提高模型的决策公平至关重要.目前已有工作提出了较多方法,用于改善模型的个体公平,但是这些方法仍然在去偏效果、去偏后模型可用性、去偏效率等方面存在缺陷.为此,文中分析了深度模型存在个体偏见时神经元异常激活现象,提出了一种基于偏见神经元抑制的模型去偏方法NeuronSup,具有显著降低个体偏见、对主任务性能影响小、时间复杂度低等优势.具体而言,首先根据深度模型部分神经元由于个体偏见而产生异常激活的现象提出了偏见神经元的概念.然后,利用歧视样本对查找深度模型中的偏见神经元,通过抑制偏见神经元的异常激活大幅降低深度模型的个体偏见,并且根据每个神经元的最大权重边确定主任务性能神经元,通过保持深度模型的主任务性能神经元参数不变,来减小去偏操作对深度模型分类性能造成的影响.因为NeuronSup只对深度模型中的特定神经元进行去偏操作,所以时间复杂度更低,效率更高.最后,在3个真实数据集的6种敏感属性上开展去偏实验,与5种对比算法相比,NeuronSup将个体公平指标THEMIS降低了50％以上,同时使去偏操作对深度模型分类准确率的影响降低到3％以内,验证了NeuronSup在保证深度模型分类能力的情况下降低个体偏见的有效性.

关键词：个体公平、深度学习、偏见神经元、模型去偏

所属期刊栏目：50

分类号：TP391(计算技术、计算机技术)

在线出版日期：2023-11-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：122-131