文本分类中基于单词表示的全局向量模型和隐含狄利克雷分布的文本表示改进方法

摘要：

针对文本分类中文本数据表示存在稀疏性、维度灾难、语义丢失的问题,提出一种基于单词表示的全局向量(global vectors for word representation,GloVe)模型和隐含狄利克雷分布(latent Dirichlet allocation,LDA)主题模型的文本表示改进方法.利用GloVe模型结合局部信息和全局词语共现的统计信息训练得到文本的稠密词向量,基于LDA主题模型生成文本隐含主题和相应的概率分布,构建文本向量以及基于概率信息的主题向量,并计算两者之间的相似性作为分类器的输入.实验结果表明,相比其他几种文本表示方法,改进方法在精确率、召回率和F1值上均有所提高,基于GloVe和LDA的文本表示改进方法能有效提升文本分类器的性能.

关键词：文本表示;GloVe模型;LDA主题模型;文本分类;词向量

所属期刊栏目：21

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家自然科学基金71701019

在线出版日期：2021-11-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：12631-12637