基于MapReduce的中文词性标注CRF模型并行化训练研究

摘要：

针对条件随机场模型面对大规模数据传统训练算法单机处理性能不高的问题,提出一种基于MapReduce框架的条件随机场模型训练并行化方法,设计了条件随机场模型特征提取及参数估计的并行算法,实现了迭代缩放算法的并行.实验表明,所提出的并行化方法在保证训练结果正确性的同时,大大减少了训练时间,效率得到较大提升.

关键词：词性标注、条件随机场、MapReduce、并行

所属期刊栏目：49

分类号：TP391(计算技术、计算机技术)

资助基金：新闻出版重大科技工程项目1041STC40889/01-2;863计划2011AA120300

在线出版日期：2017-01-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：147-152