LingAlign:基于跨语言句向量的多语种句对齐方法研究

摘要：

[目的]实现多语种句子的自动对齐,为基于平行语料库的数字人文和机器翻译研究提供支持.[方法]采用跨语言句向量技术,将待对齐的双语文本映射到一个共享的向量空间,基于双轮动态规划和改进版余弦相似度算法抽取双语文本中的平行句对.[结果]通过直接评测和间接评测两种方式评估系统性能:直接评测的平均准确率、召回率和F1值分别为0.950、0.960和0.955;间接评测的chrF、chrF++和COMET值分别为55.65、55.85和87.31.[局限]融合文档对齐和句子对齐的语料采集平台有待开发.[结论]所提方法在两类评测任务中的性能均优于现有方法,有助于构建大规模、高质量的多语种平行语料库.

关键词：跨语言句向量、自动句对齐、神经机器翻译

所属期刊栏目：8

分类号：H085;TP391(应用语言学)

在线出版日期：2024-08-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：56-68