基于改进语义距离的网络评论聚类研究?

摘要：

针对在线评论，提出了一种短文本语义距离计算模型，将文本距离看成是形式距离和单元语义距离的综合。首先，在对变异短文本进行预处理的基础上，以中文词语为单位，利用词典进行语义扩展，计算短文本间最大匹配距离，将其作为衡量短文本间形式距离的指标；其次，基于短文本中的实义单元和非实义单元的不同作用，利用改进的编辑距离算法计算短文本的单元语义距离；最后，利用加权的方法将形式距离和单元语义距离综合为文本距离，并将其应用于网络在线评论的聚类分析。特别地，为了缓解短文本长度差异所造成的计算误差，提出利用词表长度对距离进行惩罚，并根据Zipf’s Law和Heap’s Law的对应关系，给出了一种文本词表长度的估计方法，并阐明了文本Zipf指数α对长度惩罚的关键性作用机制。实验结果表明，改进算法优于传统方法，聚类性能显著提升。

关键词：文本聚类、在线评论、语义距离、长度惩罚、Heap’s Law、Zipf’s Law

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金61001178;国家软科学研究计划2010GXQ5D317;北京市优秀人才计划;北京市属高等学校青年拔尖人才计划CITTCD201404052;北京市教育委员会科技计划KM201210005024;北京工业大学基础研究基金;可信计算北京市重点实验室开放课题

在线出版日期：2015-01-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：2777-2789