基于Transformer-CRF的文言文断句方法研究 ——以唐代墓志铭为例

摘要：

[目的/意义]本文探索了文言文的断句规则,并以唐代墓志铭为例进行基于语义的句子边界识别,降低了文言文因缺少标点造成的阅读障碍,减少了人工标注标点的工作量,为中国古文的资料分析整理提供技术支撑.[方法/过程]本文首先使用一种基于汉字偏旁的字表示方法,提取汉字本身隐含的语义信息进行表达.将基于偏旁的字表示输入Transformer-CRF模型,并对墓志铭中的缺失字进行了滑动窗口填补操作,降低缺失字对整体模型的影响.该模型在提高并行计算效率的基础上对输出结果进行关联,提高了准确率.[结果/结论]实验表明,使用基于偏旁的字向量表示方式结合Transformer-CRF能提升唐代墓志铭的断句准确率,且对于缺失字附近的断句准确率有所提升,该方法对数字人文中信息收集和整理工作起到了一定的辅助支撑作用.

关键词：Transformer-CRF;繁体字向量;句子边界识别;古籍信息处理

所属期刊栏目：7

分类号：TP391;G35(计算技术、计算机技术)

资助基金：中国科学技术信息研究所创新研究基金面上项目;中国科学技术信息研究所重点工作

在线出版日期：2021-12-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：30-39