MapReduce框架下的实时大数据图像分类

摘要：

图像数据作为大数据的重要组成部分蕴含着丰富的知识,且图像分类有着广泛的应用,利用传统分类方法已经无法满足实时计算的需求.针对此问题,提出并行在线极端学习机算法.首先利用在线极端学习机理论得到隐层输出权值矩阵;其次根据MapReduce计算框架的特点对该矩阵进行分割,以代替原有大规模矩阵累乘操作,并将分割后的多个矩阵在不同工作节点上并行计算;最后将计算节点上的结果按键值合并,得到最终的分类器.在保证原有计算精度的前提下,将文中算法在MapReduce框架上进行拓展,以人脸图像为例对大规模图像数据进行分类的结果表明,该算法能够针对大数据图像进行快速、准确的分类.

关键词：大数据、MapReduce、在线极端学习机、人脸识别

所属期刊栏目：26

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金61173163,51105052,61370200

在线出版日期：2014-09-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：1263-1271