基于MapReduce的朴素贝叶斯算法文本分类方法

摘要：

为了解决传统串行朴素贝叶斯算法分类性能低下的问题,提出一种基于朴素贝叶斯算法的并行化分类方法.选取多项式朴素贝叶斯,搭建Hadoop集群,通过卡方检验选取特征词,利用词频-逆文本频率指数方法计算出每个特征项的权值,并求出每类的权重总和,将权值应用到朴素贝叶斯公式中得到分类结果.实验结果表明:在该集群上设计的并行化朴素贝叶斯分类方法较比传统朴素贝叶斯方法,其精确率,召回率,F1值分别至少提高了7.66％,7.56％,11.98％,且用时更短,说明本文的方法能够提高处理文本的时间效率.

关键词：朴素贝叶斯、分类、并行化、MapReduce

所属期刊栏目：43

分类号：TP311(计算技术、计算机技术)

资助基金：2017年度湖北省教育厅科学研究计划指导性项目B2017051

在线出版日期：2021-03-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：102-105