词向量与LDA相融合的短文本分类方法

摘要：

[目的]针对短文本主题聚焦性差以及严重的特征稀疏问题,设计一种基于词向量与LDA主题模型相融合的短文本分类方法.[方法]从“词”粒度及“文本”粒度层面同时对短文本进行精细语义建模,首先基于Word2Vec训练词向量并通过相加平均法合成“词”粒度层面的短文本向量,基于吉布斯采样法训练LDA主题模型并根据主题概率最大原则对短文本进行特征扩展,然后基于词向量相似度计算扩展特征权重得到“文本”粒度层面的短文本向量,最后通过向量拼接构建词向量与LDA相融合的短文本表示模型,在此基础上通过最近邻分类算法完成短文本分类.[结果]相比传统的基于向量空间模型、基于词向量、基于LDA主题模型这三种基于单一模型的分类方法,词向量与LDA相融合的分类方法准确率、召回率、F1值均有提升,分别至少提升3.7％,4.1％和3.9％.[局限]仅应用于最近邻分类器,尚未推广应用到朴素贝叶斯和支持向量机等多种不同的分类器.[结论]基于词向量与LDA相融合的短文本表示模型进行分类,能有效克服短文本的主题聚焦性差及特征稀疏性问题,提高短文本分类性能.

关键词：短文本分类、词向量、LDA主题模型、最近邻分类器

分类号：G350(情报学、情报工作)

资助基金：本文系国家自然科学基金项目“动态数据挖掘的构造性机器学习方法研究”项目编号:61273302的研究成果之一.

在线出版日期：2017-03-13（万方平台首次上网日期，不代表论文的发表时间）

页码：27-35