一种改进的模糊聚类日志异常检测方法

摘要：

随着分布式信息系统的普及与应用,系统的在线运行管理变得尤为重要.如何利用各类系统运行产生的日志数据保障在线业务应用不间断服务已成为当前研究的热点问题,而基于机器学习方法的日志数据异常检测是该领域的有效路径.围绕日志数据的异常检测问题,文中提出一种模糊聚类的无监督学习方法,通过引入模糊隶属度函数,对不同的分类对象赋予不同模糊隶属度,可有效分类噪声与奇异数据点的影响,效果明显优于传统的其他同类机器学习方法.其次,针对日志数据正常与异常数据聚群的不平衡问题,引入不平衡补偿因子,进一步提高异常检测的性能.实验结果表明:模糊聚类算法明显优于现有无监督机器学习方法,准确率达到96％,召回率为100％,综合评价指标F1值为97.9％;改进的算法则在原基础上,准确率和F1分别提升1个百分点.

关键词：日志数据、模糊聚类、异常检测、机器学习、分布式信息系统、无监督学习

所属期刊栏目：45

分类号：TN911.23-34

资助基金：海南省重点研发计划项目;国家自然科学基金;赛尔网络下一代互联网技术创新项目;海口市重大科技创新项目

在线出版日期：2022-09-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：30-34