融合BTM主题特征的短文本分类方法

摘要：

针对短文本特征较少而导致使用传统文本分类算法进行分类效果并不理想的问题,提出了一种融合BTM主题特征和改进了特征权重计算的综合特征提取方法来进行短文本分类.方法中,在TF-IWF的基础上降低词频权重并引入词分布熵,衍生出新的算法计算权重.结合BTM主题模型中各主题下的主题词对词数较少的文档进行补充,并选择每篇文档在各个主题下的概率分布作为另一部分文档特征.通过KNN算法进行多组分类实验,结果证明该方法与传统的TF-IWF等方法计算特征进行比较,F1的结果提高了10%左右,验证了方法的有效性.

关键词：短文本、权重计算、TF-IWF方法、主题模型

所属期刊栏目：52

分类号：TP391.1(计算技术、计算机技术)

资助基金：安徽省高校自然科学研究重点项目KJ2013A020;安徽省自然科学基金11040606M133

在线出版日期：2016-07-19（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：95-100