一种基于Hadoop的关联规则挖掘算法

摘要：

传统的并行关联规则算法对每一次迭代都定义一个MapReduce任务,以实现候选项集的生成和计数功能,但多次启动MapReduce任务会带来极大的性能开销.文中定义了一种并行关联规则挖掘算法PST-Apriori,该算法采取分治策略,在每个分布式计算节点定义一个前缀共享树,通过递归调用的方式将事务T生成的候选项集逐层压缩到前缀共享树(PST)中.然后广度遍历PST,逐层将每个节点对应的〈key,value〉作为map函数的输入,并由Map-Reduce框架自动按照key值进行聚集.最后调用reduce函数对多个任务的处理结果进行汇总,得到满足最小支持度阈值的频繁项集.算法只使用两个MapReduce任务,且PST按照key值排序便于Mapper端的shuffle操作,提高了运行效率.

关键词：关联规则、Hadoop、MapReduce、前缀共享树

所属期刊栏目：45

分类号：TP311(计算技术、计算机技术)

资助基金：2015 江苏省高校自然科学研究面上项目15KJB520016;2017 年度江苏省高校"青蓝工程"资助

在线出版日期：2018-12-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：409-411,416