面向短语统计机器翻译的汉日联合分词研究

摘要：

未登录词与分词粒度是汉日日汉机器翻译研究的两个主要问题。与英语等西方语言不同，汉语与日语词语间不存在空格，分词为汉日双语处理的重要工作。由于词性标注体系、文法及语义表现上的差异，分词结果的粒度需要进一步调整，以改善统计机器翻译系统的性能。提出了面向统计机器翻译的基于汉日汉字对照表及日汉词典信息的汉语与日语的分词粒度调整方法。实验结果表明，该方法能有效地调节源语言和目标语言端的分词粒度，提高统计机器翻译系统的性能。通过对比实验结果，分析探讨分词粒度对汉日双语统计系统性能的影响。

关键词：分词粒度、汉字对照表、汉日机器翻译

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金No.61370130；科技部国际科技合作计划No.K11F100010；中央高校基本科研业务费专项资金No.2010JBZ2007；北京市重点学科共建项目计算机应用技术；中国科学院计算技术研究所智能信息处理重点实验室开放课题No.IIP2010-4；北京交通大学人才基金No.2011RC034。

在线出版日期：2015-03-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：116-120,141