Spark平台的分布式阶段自适应关联规则挖掘算法

摘要：

为满足日益增长的海量数据挖掘需求,迫切需要设计一种能够在多台机器上运行的分布式关联规则挖掘算法.Apriori这种高度迭代算法在Hadoop平台上运行时每次迭代执行大量的磁盘I/O操作,大大影响并限制了算法的运行效率.本文利用Spark对分布式计算内置支持的特点,在Spark平台上设计并实现一种分布式关联规则挖掘算法,称为阶段式自适应挖掘算法(Staged Adaptive Apriori).算法使用自适应的数据集部分处理的策略对频繁项集进行高效挖掘,在每次迭代前初步评估执行时间,并采用较为合适的方法来减少时间和空间的复杂性,是一种基于数据集性质的自适应关联规则挖掘算法.实验结果表明了算法的有效性.

关键词：关联规则挖掘、Apriori算法、MapReduce、Spark

分类号：TP301.6(计算技术、计算机技术)

资助基金：全国高等院校计算机基础教育研究会2016年度科研规划纵向课题2016GHB02005;广东省高职高专云计算与大数据专业委员会2019年度教育科研课题GDYJSKT19-02

在线出版日期：2019-12-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：31-38