基于相似度矩阵的K-Means算法的MapReduce并行化实现

摘要：

为了提高基于相似度矩阵的K-Means算法(SMK-means)处理大数据的能力,它使用MapReduce分布式编程模型,并结合SMK-means算法自身的特点,设计出了SMK-means算法基于MapReduce的并行化实现.通过设计Map和Re-duce函数实现了SMK-means算法的并行化.Map函数通过计算样本和聚簇中心的相似度来确定样本的聚簇归属,Re-duce函数用于完成聚簇中心的计算.实验结果证明,基于MapReduce的并行化的SMK-means算法在保证文本挖掘性能不降的前提下,使得运行效率得到了大幅度提升.

关键词：K-Means算法、相似度矩阵、MapReduce模型、并行计算、文本挖掘

所属期刊栏目：13

分类号：TP391(计算技术、计算机技术)

在线出版日期：2017-08-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：18-20