基于改进的MapReduce模型的Web挖掘

摘要：

基于单一服务器的Web挖掘系统在处理海量数据集时计算能力不足,针对该问题,提出了一种基于云计算的挖掘方法.将大数据集和挖掘任务分解到多台计算机上并行处理.实现了一个基于Hadoop开源框架的并行Web挖掘平台,同时提出了一种改进的MapReduce模型——MapReduce-LP.并通过对电子商务系统中Web日志的挖掘工作验证了系统的有效性和新模型的高效性.实验表明,在集群中使用云计算技术处理大数据集,可以明显提高挖掘效率.

关键词：Web挖掘、云计算技术、Hadoop、MapReduce-LP模型、Web日志挖掘

所属期刊栏目：13

分类号：TP311.54(计算技术、计算机技术)

在线出版日期：2013-04-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：1205-1209