基于Spark的新闻大数据分析研究

摘要：

随着大数据时代的到来,面对海量新闻数据,用户很难获得有用的信息.提出基于Spark技术构建新闻大数据分析系统,使用Scrapy采集新闻数据,利用向量空间模型对数据进行特征化,选择K-Means算法进行新闻聚类,对新闻进行实时分析,帮助用户获取新闻热点.系统运行结果表明,该方法对新闻大数据分析效果较好.

关键词：新闻大数据、Spark、新闻热点、向量空间模型、K-Means算法

所属期刊栏目：31

分类号：TP391.3(计算技术、计算机技术)

资助基金：2015年度贵州省联合基金项目"大数据下的电子商务推荐系统优化研究与开发"黔科合LH字[2015]7606号;2018年度六盘水市科技局基金项目"基于大数据的协同过滤推荐算法及推荐平台研究"5202020180415

在线出版日期：2019-07-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：20-22