结合文本聚类和文本检索的语料选取方法

摘要：

为了克服用应用相关的文本数据进行语音识别、智能输入等各种自然语言处理中在有些情况下因很难收集到充足的相关数据和缺乏应用相关的训练数据带来的困难,提出了一种通过结合非监督文本聚类和文本检索技术实现相关语料选取的新方法.该方法仅使用少量与特定应用相关的文本,即可从未经整理的大规模语料库中发现更多与此应用相关的文本.利用该方法在手机短信文本和未经整理的大规模语料库上进行了实验,实验结果表明该方法能够有效提取应用相关的文本.

关键词：文本聚类、文本检索、Kullback-Leibler距离、统计语言模型

所属期刊栏目：20

分类号：TP3;TN9

资助基金：973计划2007CB311004

在线出版日期：2011-03-30（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：1224-1228