基于上下文相似度矩阵的Single-Pass短文本聚类

摘要：

在线社交网络已经成为人们信息交流的重要渠道和载体,形成了与现实世界交互影响的虚拟社会.众多的网络事件通过社交网络进行快速传播,可以在短时间内成为舆论热点,而负面事件会对国家安全和社会稳定造成冲击,从而引发一系列的社会问题.因此,挖掘社交网络中蕴含的热点信息,无论是从舆论监督方面还是舆情预警方面都具有重要的意义.文本聚类是挖掘热点信息的一种重要方法,然而,使用传统长文本聚类算法处理海量短文本时准确率将变低,复杂度急剧增长,从而导致耗时过长;现有的短文本聚类算法的准确率偏低、耗时过长.文中基于文本关键词,提出了结合上下文和相似度矩阵的关联模型,从而判断当前文本与上一文本的关联性.此外,根据该关联模型对文本关键词权重进行调整,以进一步降低噪声.最后,在Hadoop平台上实现了分布式的短文本聚类算法.与K-MEANS,SP-NN,SP-WC算法的比较实验验证了所提算法在话题挖掘速度、准确率和召回率等方面都具有更好的效果.

关键词：在线社交网络、短文本序列、文本聚类、分布式处理

所属期刊栏目：46

分类号：TP391(计算技术、计算机技术)

资助基金：国家重点研发计划资助项目2017YFB0803302 ,中央基本业务费06116104

在线出版日期：2019-05-28（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：50-56