基于Hadoop的海量安全日志聚类算法研究

摘要：

大数据环境下,网络安全事件层出不穷,网络安全成为各界关注的热点.安全日志记录着设备运行状态的重要信息,通过对其分析可以实时掌握网络安全态势,可作为事前防护、事后追责的安全审计手段,实现对异常事件的追责与溯源.针对日志审计的重要性并结合数据挖掘在日志分析领域的重要作用,同时针对单机环境下处理海量数据效率相对滞后等问题,文章提出一种基于Hadoop的面向海量安全日志的聚类算法.首先,文章提出了基于最大最小距离(MMD)和均值思想对K-means聚类算法进行改进,克服了传统K-means聚类算法在寻找初始聚类中心随机性的缺陷;其次,为了适应海量数据的有效处理,提高聚类的效率与速度,将改进的K-means聚类算法部署在Map/Reduce上进行迭代计算.实验表明,改进的聚类算法的准确性优于其他典型算法,聚类效果稳定,在集群的性能上具有较好的运行速度和加速比.

关键词：安全日志、聚类、K-means、Map/Reduce、Hadoop

分类号：TP309(计算技术、计算机技术)

资助基金：国家高技术研究发展计划863计划2015AA016005

在线出版日期：2018-12-24（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：56-63