从互联网上自动获取领域平行语料

摘要：

[目的]对获取的双语语料进行分类,对分类后的双语语料进行句子对齐处理,生成领域平行语料.[方法]利用基于SVM算法的文本分类器对获取的中英双语语料进行分类.使用长度法和词汇法相结合的句子对齐工具对分类后的语料进行句子对齐工作,为提高句子对齐的正确率,利用人工对齐的中英平行语料计算中英文句子长度参数,结合中英双语词典,获取高质量的专业领域平行语料.[结果]使用该方法,对每个领域语料进行句子对齐后,取得95.45％的句子对齐正确率.计算得到的句子平均长度比为1.7777,方差为1.2640.[局限]由于双语语料的初始对齐程度比较好,因此句子对齐正确率可能不具有普遍代表性.[结论]从实验结果看,该方法是有效的,能够获取质量令人满意的领域平行语料.

关键词：句子对齐、文本分类、平行语料、机器翻译

分类号：TP361(计算技术、计算机技术)

在线出版日期：2015-01-13（万方平台首次上网日期，不代表论文的发表时间）

页码：36-43