基于Hadoop和Paoding的中文词频统计的实现

摘要：

大数据分析技术近年来发展非常迅速,已经成功应用在多个行业和领域,词频统计是大数据分析中经常要实现的一个功能.目前最为热门的开源大数据框架Hadoop中提供的经典案例WordCount仅能进行英文词频分析.通过对Ha-doop相关技术的研究,对WordCount进行了改写,利用中文分词器Paoding对中文语句进行分词,实现了中文词频统计的功能.

关键词：大数据分析、词频统计、Hadoop、MapReduce、Paoding

所属期刊栏目：13

分类号：TP311(计算技术、计算机技术)

在线出版日期：2017-09-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：7-9