基于MapReduce和HBase的海量网络数据处理

摘要：

根据ERF数据的特点结合分布式框架Hadoop针对海量数据的计算优势,改进了网络数据的解析模式和数据存储模式,完成了ERF网络数据自动上传.根据XML文件解析多种类型的网络数据、HBase存储数据和HBase数据导入与数据查询的优化等一系列网络数据自动化处理工作.提出了一种新的MapReduce解析二进制数据的算法,该方案有效的解决了MapReduce读取和解析二进制数据的问题,在此基础上实现的海量网络数据处理系统,解析效率较高,数据库存储和查询数据的速度较快,系统自动化运行且稳定性强,有良好的应用前景.

关键词：MapReduce、HBase、网络数据、分布式计算

所属期刊栏目：15

分类号：TN311.13(半导体技术)

资助基金：国家自然科学基金面上项目61273053

在线出版日期：2016-01-06（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：182-191