基于互信息和逻辑回归的新词发现

摘要：

[目的]改进新词提取方法,将提取的新词加入现有分词模型,提高医学文本分词准确率.[方法]在传统互信息模型基础上,得到字、字串的统计量,连同字串是否成词,一起作为特征,建立逻辑回归分类模型,设计了一种新词识别算法.[结果]在湘雅医院皮肤科电子病历文本数据上进行系列实验,与PMI、PMI2和PMI3相比,融入逻辑回归的PMI模型可以取得最高的新词提取准确率(0.803).[局限]建立逻辑回归分类模型时,需要对训练集字串是否成词进行人工判断.[结论]融入逻辑回归的互信息分词模型可以更好地识别新词,降低词语误判,对于医学文本词的切分具有良好的应用价值.

关键词：医学文本、分词、新词发现、逻辑回归、互信息模型

所属期刊栏目：3

分类号：TP393;G35(计算技术、计算机技术)

资助基金：中南大学中央高校基本科研业务费专项资金资助项目“基于临床数据的青霉素类药物不良反应预测模型研究”2017ZZTS722;国家重点研发计划“精准医学研究”重点专项基金项目“精准医学大数据体系的规范化应用与评价”2016YFC0901705;国家社会科学基金项目“面向临床决策的电子病历潜在语义分析及应用研究”13BTQ052;湖南省自然科学基金面上项目“大数据驱动的心力衰竭风险预测与辅助诊断应用研究”项目2018JJ2534的研究成果之一

在线出版日期：2019-11-07（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：105-113