基于改进LDA特征抽取的重大事件趋势预测

摘要：

为克服大数据背景下的重大事件趋势预测研究在特征选择上的局限性问题,提出一种基于改进潜在狄利克雷分布(Latent Dirichlet Allocation,LDA)特征抽取的重大事件趋势预测方法.首先,利用网络爬虫辅助新闻数据采集;其次,利用主题模型取代专家知识进行特征抽取与向量表示,并针对LDA主题模型存在的主题噪声以及在特征词偏向性问题,设计了一种改进模型 NR‐IDF‐LDA;最后,利用机器学习分类模型进行预测结果输出.以朝核行为趋势预测为例进行验证,提出方法的全时间段预测准确率达到80.56％,召回率达到75.3％,预测结果与基于专家知识进行特征构建的传统方法相当,证实了方法的可行性和有效性.

关键词：大数据、重大事件、趋势预测、主题模型、机器学习

所属期刊栏目：40

分类号：TP181(自动化基础理论)

资助基金：国家自然科学基金资助项目61673146

在线出版日期：2020-04-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：61-67