平行语料库的相似语句去重算法

摘要：

尝试对平行语料库中需要去重的中文句子相似情况作分类,利用整体相似因子和局部相似因子计算句子的相似度,并借鉴KMP 算法的匹配跳跃思想,提出中文字符串匹配的类KMP 算法,并对算法进行实验验证.结果表明,算法具有较好的效果,能够实现平行语料库中相似句子的去重.算法开放测试的召回率达94%,去重准确率达到84%.算法可以应用于任何长度的语句比对,适用范围广.

关键词：去重、相似句子、平行语料库、类KMP

所属期刊栏目：25

分类号：TP391.3(计算技术、计算机技术)

资助基金：南宁市人才小高地基金项目2007007

在线出版日期：2010-03-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：248-250,256