基于大数据技术的网络安全分析研究

摘要：

网络安全分析领域的流量数据具有高维性、复杂性、大规模性等特点,导致对其进行准确分析较为困难,从而也难以发现存在的网络攻击和异常流量.为了精确分析网络数据并提高网络自动化检测的防御程度,文中提出一种基于大数据技术的网络安全分析算法.首先,基于Spark平台在线检测大部分的网络攻击和异常流量数据,通过Pearson系数线性相关性分析法过滤部分特征以提高检测速度,利用计算决策树相似度方法优化的随机森林模型实现异常流量数据在线检测,为网络低延时实时监控提供保障;然后,将难以判断的复杂网络流量存储到分布式文件系统(HDFS)的Hadoop数据仓库,使用Hive查询离线分析数据来检测网络的异常活动,从而有效地发现在线分析系统难以发现的网络攻击;最后,通过离线分析算法的更新及时拦截新型网络攻击,并将其反馈到在线分析系统中以提高在线分析精度.实验结果表明,文中算法能够实现网络流量的有效检测并提升检测的效率,可为网络自动化检测和防御提供可行的配置流程.

关键词：网络流量、大数据技术、网络攻击、机器学习、线性相关、自动化检测、流量分析

所属期刊栏目：45

分类号：TN915.08-34;TP391

资助基金：国家计算机网络与信息安全技术研究专项研究计划;国家自然科学基金

在线出版日期：2022-09-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：93-98