基于大数据的网络日志分析技术

摘要：

传统的日志分析技术在处理海量数据时存在计算瓶颈.针对该问题,研究了基于大数据技术的日志分析方案:由多台计算机完成日志文件的存储、分析、挖掘工作,建立了一个基于Hadoop开源框架的并行网络日志分析引擎,在MapReduce模型下重新实现了IP统计算法和异常检测算法.实验证明,在数据密集型计算中使用大数据技术可以明显提高算法的执行效率和增加系统的可扩展性.

关键词：大数据、Hadoop、MapReduce、日志分析、异常检测

所属期刊栏目：45

分类号：TP393(计算技术、计算机技术)

资助基金：江苏省高等学校自然科学研究面上项目17KJB520033

在线出版日期：2018-12-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：353-355