不同维度下维吾尔语N-gram语言模型性能分析

摘要：

针时当前维吾尔语语言模型存在的语料库数据稀疏问题以及困惑度较高等问题,在SRILM和MITLM两种工具生成的2-gram,3-gram,…,9-gram语言模型做了对比实验,试图找出在一定规模的维吾尔语语料条件下使困惑度最低的N-gram语言模型.通过对比分析最终得出结论,对于基于维吾尔语句子的N-gram模型,维度N取在介于3～5之间较宜,困惑度和计算复杂度等因素考虑N=3为较优.这一结论将有助于维吾尔语自然语言处理的发展.

关键词：N-gram语言模型、性能分析、SRILM、MITLM、困惑度、平滑算法、机器翻译

所属期刊栏目：41

分类号：TN912.34-34;TP391.1

资助基金：国家自然科学面向汉维机器翻译性能优化的关键技术研究61562081

在线出版日期：2019-08-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：27-30