关联规则推荐的高效分布式计算框架

摘要：

关联规则推荐模型是在电子商务网站应用最广泛的商用推荐引擎之一,目前已有的工作大多聚焦于如何挑选高质量规则,以提升推荐精度.然而,关联规则数量庞大,且用户并发访问量通常极大,如何快速匹配用户浏览记录和关联规则库,为海量在线用户产生近实时推荐,成为制约关联规则推荐能否胜任真实电子商务网站推荐的重要因素.为此,本文研究关联规则推荐的效率问题,提出服务于高效关联规则推荐的分布式计算框架,将规则挖掘与推荐计算无缝衔接.具体而言,本文首先设计有序模式森林,用于压缩存储频繁模式;然后将候选规则挖掘转化为森林上的路径搜索计算,并提出高效的单机路径搜索算法;最后提出负载均衡的数据分割策略,同时降低分布式规则挖掘与推荐计算中的任务最迟完成时间.在3个公开数据集的实验结果表明基于有序模式森林的推荐计算比传统穷举匹配策略降低6倍以上时间,同时所提出的分布式计算框架可随计算节点数量达到近线性扩展.

关键词：推荐系统、关联规则、频繁模式、FP-growth算法、Spark、负载均衡

所属期刊栏目：42

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金项目71571093,91646204,71801123

在线出版日期：2019-07-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共14页

页码：1218-1231