基于MapReduce的三元N-gram算法的并行化研究

摘要：

大规模语料库的训练是使用三元N-gram算法进行中文文本自动查错中一个重要的基础工作.面对新媒体平台每日高达百万篇需处理的语料信息,单一节点的三元N-gram语言模型词库的构建存在计算瓶颈.在深入研究三元N-gram算法的基础上,提出了基于MapReduce计算模型的三元N-gram并行化算法的思想.MapReduce计算模型中,将运算任务平均分配到m个节点,三元N-gram算法在Map函数部分的主要任务是计算局部字词分别与其前两个字词搭配出现的次数,Reduce函数部分的主要任务是合并Map部分统计字词搭配出现的次数,生成全局统计结果.实验结果表明,运行在Hadoop集群上的基于MapReduce的三元N-gram并行化算法具有很好的运算性和可扩展性,对于每日120亿字的训练语料数据集,集群环境下该算法得到训练结果的速率更接近于线性.

关键词：中文文本查错、三元N-gram算法、MapReduce计算模型、并行化算法、Hadoop集群、语料库

所属期刊栏目：45

分类号：TP301.6(计算技术、计算机技术)

资助基金：国家重点研发计划项目2017YFC0820100

在线出版日期：2019-05-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：70-73,77