通信垃圾文本识别的半监督学习优化算法

摘要：

在对非平衡通信文本使用随机下采样来提高分类器性能时,为了解决随机下采样样本发生有偏估计的问题,提出基于否定选择密度聚类的下采样算法(NSDC-DS).利用否定选择算法的自体异常检测机制改善传统聚类,将样本中心点和待聚类样本分别作为检测器和自体集,对两者进行异常匹配;使用否定选择密度聚类算法对样本相似性进行评估,改进传统的下采样方法,使用NBSVM分类器对采样后的通信样本进行垃圾识别;使用PCA对样本所具有的信息量进行评估,提出改进的PCA-SGD算法对模型参数进行调优,完成通信垃圾文本的半监督识别任务.为了验证改进算法的优越性,使用不平衡通信文本等多个数据集,在否定选择密度聚类、NSDC-DS算法、PCA-SGD与传统模型上进行对比分析.实验结果表明,改进的模型不仅具有较好的通信垃圾文本识别能力,而且具有较快和稳定的收敛速度.

关键词：非平衡数据、垃圾文本识别、否定选择密度聚类、基于否定选择密度聚类的下采样算法(NSDC-DS)、基于主成分分析的随机梯度下降(PCA-SGD)算法

所属期刊栏目：56

分类号：TP391(计算技术、计算机技术)

资助基金：吉林省科技发展计划技术攻关项目;吉林省教育厅"十三五"科学技术项目

在线出版日期：2020-09-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：121-128