基于R+Hadoop框架的微信舆情热点挖掘

摘要：

[目的/意义]从微信舆情的智能采集与智能分析的视角出发,探究如何借力大数据技术强化舆情的深入分析与有效研判机制.[方法/过程]鉴于Hadoop在分布式处理领域的强大功能以及R语言在数据统计模型方面的优势,使用中间件技术将二者无缝集成,构建了基于R+Hadoop的微信平台舆情挖掘框架.并以4 025篇微信文章作为研究数据,阐述了使用该框架进行舆情采集、舆情分布式挖掘以及挖掘结果可视化展示的思路和方法.又进一步使用不同数量级的数据对该框架与单机处理方式进行比较.[结果/结论]研究结果表明,针对微信环境下数据量大、数据产生速度快、数据格式及内容庞杂等新特点,基于R+ Hadoop的微信平台舆情挖掘框架能够实时、全面、准确地进行舆情处理,为舆情态势监管和应对工作提供依据.但是,本框架不适用于数据量较少时的舆情分析,当舆情数据较少时,建议在单机环境下使用R语言建模分析即可.

关键词：微信平台、舆情挖掘、R语言、Hadoop、大数据、文本聚类

所属期刊栏目：36

分类号：TP391(计算技术、计算机技术)

资助基金：2015年度教育部人文社会科学研究规划基金项目“徽信环境下基于大数据的高校舆情监管机制研究”的研究成果15YJAZH102

在线出版日期：2017-05-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：97-101,78