基于加权多策略选样的古文断句模型研究——以古籍《宋史》为例

张景素1魏明珠2

1华中科技大学; 2;

摘要：

[目的/意义]旨在研究少量标注样本构建古文断句模型,减少在模型训练过程中样本标注所需的成本,为探索数字技术与人文学科的融合发展提供崭新的思路.[方法/过程]从古文样本的不确定性和多样性出发,提出一种加权多策略选样方法,有效结合了 BERT-BiLSTM-CRF、BERT-CRF等古文断句模型.通过引入信息熵和相似性等概念,深入分析古籍文本的不确定性和多样性,运用加权计算评估古文样本对模型训练的价值高低,对加权多策略方法所筛选的有价值样本进行人工标注,同时更新到训练集进行模型迭代训练.[结果/结论]以古籍《宋史》为例进行研究,所提出的方法分别在BERT-BiLSTM-CRF、BERT-CRF等古文断句模…展开v

关键词：古文断句、主动学习、数字人文、选样策略、BERT

所属期刊栏目：40

分类号：G254(图书馆学、图书馆事业)

在线出版日期：2023-03-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：164-170