基于函数机制的差分隐私联邦学习算法
随着数据隐私与安全越来越多地得到社会各界的重视,联邦学习作为一种保护用户数据隐私的分布式学习技术应运而生.它可以让原本数据隔离的不同组织能够协同进行机器学习.基于差分隐私的联邦学习是一种被广泛使用的隐私保护联邦学习框架.其通过在用户上传训练梯度前对梯度引入噪声来保护本地数据的隐私.但裁剪与加噪引起的梯度精度丢失问题限制着差分隐私联邦学习的训练效果进一步提高.针对此问题,本文提出了一种基于函数机制的差分隐私联邦学习算法,用扰动目标函数替代扰动梯度,使得噪声不受梯度阈值的影响,提高梯度的真实有效性.在基础方案中,我们提出的LDP-联邦主成分分析算法让所有用户以尽量统一的方式将本地数据映射到低维,让算法更适用于联邦学习高维数据场景.另外,我们发现:由于没有对梯度进行任何限制或裁剪,基础方案在用户数据非独立同分布或存在低质量数据的场景下存在权重发散问题,导致训练效果变差.本文又针对基础方案在上述场景存在的缺陷提出增强方案:通过 ?-DP-最低发散度指数抽样聚合方法以优化非独立同分布与低质量数据两个应用场景下的模型训练效果.经实验验证,本文提出的算法与方案优于目前其他隐私保护联邦学习方法.其中,本算法与梯度加噪的本地差分隐私联邦学习算法相比,模型的准确度在一般场景下提升9.6%,在非独立同分布与低质量数据场景下分别提高15.6%与16.2%.
联邦学习、差分隐私、函数机制、指数机制、权重散度
46
TP18(自动化基础理论)
山东省自然科学基金No.ZR2020QF045
2023-10-11（万方平台首次上网日期，不代表论文的发表时间）
共18页
2178-2195
