并行MapReduce PLS算法及其在光谱分析中的应用

摘要：

偏最小二乘(PLS)算法是常用的光谱建模算法,然而对于海量光谱处理情形,在单台计算机上建模及优化时间开销很大.基于MapReduce编程模式,提出了并行MapReduce PLS回归算法,包括并行数据标准化和并行主成分提取两个过程.在多台普通计算机上搭建Hadoop云计算集群平台,以近红外光谱处理为例,开展了算法验证实验.实验结果表明,基于MapReduce编程模式的并行PLS算法对海量近红外光谱数据集进行回归建模时,能有效提高建模速度,随计算机台数的增多可得到接近线性的加速比,并具有良好的扩展性.

关键词：并行偏最小二乘、近红外光谱、MapReduce、并行计算、Hadoop、云计算

所属期刊栏目：32

分类号：O657.3(分析化学)

资助基金：国家自然科学基金项目30860381;广西自然科学基金项目2012GXNSFAA053230;广西高等学校优秀人才资助计划项目桂教人[2011]40号;广西可信软件重点实验室开放基金项目kx201121;广西研究生教育创新计划项目2010105950812M22,2011105950811M24

在线出版日期：2012-12-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：2399-2404