基于Hadoop的网络日志分析系统研究

摘要：

查看网络日志是调查系统故障,监控系统运行状况的重要手段.管理员可以查看在某段时间内所发生的事件,也可以通过对各个日志文件进行分析获取知识.由于日志具有数据量大,不易读懂的特点,如果仅凭借管理员查看日志记录的手段,其中所蕴含的有用信息也难以发现.分布式计算技术正好可以用来解决这一难题.阐述了syslog日志收集流程,详细介绍了Hadoop分布式计算框架,设计并实现了一套基于Hadoop的网络日志分析系统.实验证明该系统是有效而实用的.

关键词：Hadoop框架、分布式、日志分析、syslog

所属期刊栏目：6

分类号：TP393(计算技术、计算机技术)

在线出版日期：2010-09-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：6163-6164,6185