一种基于Spark的频繁项集快速挖掘算法

摘要：

如何在海量数据集中提高频繁项集的挖掘效率是目前研究的热点.?随着数据量的不断增长,?使用传统算法产生频繁项集的计算代价依然很高.?为此,?提出一种基于Spark的频繁项集快速挖掘算法(fast?mining?algorithm?of frequent?itemset?based?on?spark,?Fmafibs),?利用位运算速度快的特点,?设计了一种新颖的模式增长策略.?该算法首先采用位串表达项集,?利用位运算来快速生成候选项集;?其次,?针对超长位串计算效率低的问题,?考虑将事务垂直分组处理,?将同一事务不同组之间的频繁项集通过连接获得候选项集,?最后进行聚合筛选得到最终频繁项集.?算法在Spark环境下,?以频繁项集挖掘领域基准数据集进行实验验证.?实验结果表明所提方法在保证挖掘结果准确的同时,有效地提高了挖掘效率.

关键词：频繁项集、模式增长、位串、位运算、垂直分组、Spark

所属期刊栏目：34

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金61562054

在线出版日期：2023-05-11（万方平台首次上网日期，不代表论文的发表时间）

页数：共19页

页码：2446-2464