基于Hadoop的航天网络舆情监测系统的设计与实现

摘要：

大数据时代,舆情监测和分析越发重要.针对单机爬虫效率低、可扩展性差、存储管理困难及信息展示不友好等问题,设计并实现了一套基于Hadoop的航天网络舆情监测系统,系统首先利用基于MapReduce的分布式网络爬虫进行数据抓取,以HDFS作为底层存储系统,在其上构建基于HBase的分布式数据库对舆情信息进行统一存储管理;通过提供定制化查询功能及相关辅助功能协助舆情分析人员实时监测舆情.测试结果表明,系统可以有效地实现对网络舆情的监测并实现定制化展示,达到了设计要求.

关键词：舆情监测、数据挖掘、航天、Hadoop

所属期刊栏目：14

分类号：TP311.52(计算技术、计算机技术)

在线出版日期：2017-08-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：181-184