基于MapReduce的特征选择并行化研究

摘要：

特征选择已经成为一种对高维数据进行预处理的必不可少的手段.随着数据规模的爆炸性增长,传统的特征选择算法已经不能满足当前高维大规模数据的处理要求.采用Google的MapReduce编程模型,设计了一种分布式的基于局部学习的特征选择算法D-logsf.在多个现实和合成数据集上的实验表明,分布式特征选择算法D-logsf具有较好的可靠性,且与传统特征选择算法Logsf相比可以获得接近线性的加速比,同时可以有效处理大规模数据集.

关键词：特征选择、局部学习、分布式、MapReduce

所属期刊栏目：42

分类号：TP391(计算技术、计算机技术)

资助基金：江苏省自然科学基金BK20131378;国家自然科学基金61105082

在线出版日期：2015-10-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：44-47,81