基于Spark框架的政府公文聚类方法研究

摘要：

政府网站中的政府公文数目巨大,对政府公文进行快速有效的分类,可以提供更好的用户体验.本文提出基于spark分布式计算框架采用K-means算法对政府公文进行分类的方法.首先从政府网站爬取足量的政府公文数据,对其进行数据预处理,再通过TF-IDF将处理后的政府文本信息转换成二维矩阵,然后在Spark计算框架中使用K-means算计进行聚类.最后分别在单机和使用spark框架的分布式计算环境下进行测试,三组实验结果表明,使用spark分布式计算框架进行聚类有着更高的计算效率.

关键词：Spark、公文聚类、TF-IDF、K-means

所属期刊栏目：16

分类号：TP311(计算技术、计算机技术)

资助基金：本文由北京信息科技大学2019年促进高校内涵发展-大学生科研训练项目5101923400

在线出版日期：2020-03-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：210-212