面向流数据的决策树分类算法并行化

摘要：

随着云计算、物联网等技术的兴起,流数据作为一种新型的大数据形态广泛存在于电信、互联网、金融等领域.与传统静态数据相比,大数据环境下的流数据具有快速、连续和随时间变化等特点.同时数据流的隐含分布变化会带来概念漂移问题.为了适应大数据环境下流数据分类算法的要求,必须对传统的静态离线数据分类算法进行改进,提出基于分布式计算平台Storm的P-HT并行化算法.算法在满足Storm流处理平台要求基础上,通过滑动窗口机制、替代子树机制和并行化处理,提高了算法的灵活性和通用性,并且能良好地适应数据流的概念漂移.最后通过实验验证该算法的有效性和高效性,结果表明在与传统C4.5算法相比精度没有降低的情况下,改进的P-HT算法具有更大的吞吐量和更快的处理速度.

关键词：流数据、分类算法、Storm平台、滑动窗口、C4.5算法、并行化算法

所属期刊栏目：54

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金项目61170065;江苏省自然科学基金优秀青年基金项目BK20170100;国家重点研发计划2017YFB0202200;江苏省重点研发计划项目BE2017166This work was supported by the National Natural Science Foundation of China61170065;Outstanding Youth of Jiangsu Natural Science FoundationBK20170100;the National Key Research and Development Program of China2017YFB0202200;the Jiangsu Key Research and Development ProgramBE2017166

在线出版日期：2017-09-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：1945-1957