主题不平衡新闻文本数据集的主题识别方法研究

摘要：

[目的]针对传统LDA模型因新闻文本数据集中不同主题间文本数量不均衡导致文本主题识别不准确问题,提出一种在主题不平衡新闻文本数据集上的主题识别方法.[方法]该方法基于传统LDA模型,结合独立性检测、方差检测和信息熵检测三种不同的特征检测方法来识别文本的主题.[结果]在10 000篇新闻文本规模的数据集上实验验证,该方法相比传统的LDA主题识别方法,查全率提高了0.212 1、查准率提高了0.040 7,F1值提高了0.152 0.[局限]由于新闻文本中新词较多,实验中使用的分词工具的分词准确率会降低,新闻文本主题识别的效果因对分词准确率的依赖而受到影响.[结论]实验证明,所提方法能够在一定程度上解决LDA对新闻文本数据集中不同主题间文本数量不均衡导致文本主题识别不准确问题.

关键词：主题不平衡、新闻文本数据集、主题识别、潜在狄利克雷分布

所属期刊栏目：5

分类号：TP393;G250(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;国家科技重大专项

在线出版日期：2021-05-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：109-120