使用概念基元特征进行自动文本分类

摘要：

自动文本分类技术是大规模文档数据处理的关键技术,在文本分类过程中通常先进行文本表示,即把文本转化为特征向量,这其中常用的特征有特征词、词频、N-gram等等.论文研究了一种新的特征,即词语的HNC概念符号.词语的HNC概念符号来自于HNC(概念层次网络,Hierarchical Network of Concepts)建立的语义网络,以符号表达式的方式表示了词语的语义信息.因此使用HNC概念符号作为特征实际上是以文本中蕴含的语义信息作为特征,和词频等使用文本表层信息的特征有本质的不同.采用最大熵模型的方法建立分类器,以分词和HNC概念符号作为特征进行了研究,并对分类结果进行了比较.结果表明,HNC特征优于分词特征.

关键词：文本分类、HNC、特征

所属期刊栏目：43

分类号：TP391(计算技术、计算机技术)

资助基金：国家重点基础研究发展计划973计划2004CB318104;中国科学院声学研究所创新资助项目

在线出版日期：2007-03-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：24-26