期刊专题

10.11896/jsjkx.220700074

基于信息熵-切分概率模型的新词发现方法

引用
新词发现是中文自然语言处理的基本任务,对于提升各种下游任务的性能至关重要.文中提出了一种基于信息熵-切分概率模型的新词发现方法,该方法首先基于信息熵从待处理文本中生成候选词集,然后对候选词集进行切分概率计算,从而筛选出真正的新词.针对有无待处理文本相关的标注语料,提出了两种不同的模型.在缺少待处理文本相关标注语料的情况下,使用通用的分词基准数据集训练了多标签Transformer-CRF模型;在具有专业标注语料的情况下,则引入了基于键值的记忆神经网络,以充分融合词语成词信息.实验结果表明,多标签Transformer-CRF模型在Top900词中法律相关词的MAP高达54.00%,较无监督方法生成的候选词集提升了 2.15%;在对法律专业语料提取新词时,键值记忆神经网络的表现进一步超过了多标签Transformer-CRF模型,达到了 3.43%的效果提升.

新词发现、信息熵、互信息、Transformer、条件随机场、键值记忆神经网络

50

TP391(计算技术、计算机技术)

2023-07-18(万方平台首次上网日期,不代表论文的发表时间)

共8页

221-228

暂无封面信息
查看本期封面目录

计算机科学

1002-137X

50-1075/TP

50

2023,50(7)

专业内容知识聚合服务平台

国家重点研发计划“现代服务业共性关键技术研发及应用示范”重点专项“4.8专业内容知识聚合服务技术研发与创新服务示范”

国家重点研发计划资助 课题编号:2019YFB1406304
National Key R&D Program of China Grant No. 2019YFB1406304

©天津万方数据有限公司 津ICP备20003920号-1

信息网络传播视听节目许可证 许可证号:0108284

网络出版服务许可证:(总)网出证(京)字096号

违法和不良信息举报电话:4000115888    举报邮箱:problem@wanfangdata.com.cn

举报专区:https://www.12377.cn/

客服邮箱:op@wanfangdata.com.cn