基于BERT-CRF的领域词向量生成研究

摘要：

如何在中文BERT字向量基础上进一步得到高质量的领域词向量表示,用于各种以领域分词为基础的文本分析任务是一个亟待解决的问题.提出了一种基于BERT的领域词向量生成方法.建立一个BERT-CRF领域分词器,在预训练BERT字向量基础上结合领域文本进行fine-tuning和领域分词学习;通过领域分词解码结果进一步得到领域词向量表示.实验表明,该方法仅利用少量的领域文本就可以学习出符合领域任务需求的分词器模型,并能获得相比原始B E RT更高质量的领域词向量.

关键词：BERT、领域分词器、领域词向量、条件随机场、词向量可视化

所属期刊栏目：58

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;内蒙古自然科学基金项目;内蒙古自治区科技计划;信息安全242课题

在线出版日期：2022-11-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：156-162