MWEC:一种基于多语义词向量的中文新词发现方法

摘要：

[目的]提出一种基于多语义词向量的中文新词发现方法(MWEC),解决多领域社交媒体文本的分词不准确问题.[方法]利用社交媒体文本,结合中文知网和汉字笔画数据库训练多语义词向量,以解决语义混淆问题.使用N-gram频繁字符串挖掘方法识别相关度高的子词集合,以此获取新词候选集.利用多语义词向量的语义相似度评估候选词进而获得新词.[结果]在金融、体育、旅游和音乐4个领域数据集上进行实验,结果表明本文方法的F1指标较对比方法分别提升了2.0(金融)、3.0(体育)、2.6(旅游)、11.3(音乐)个百分点.[局限]候选词生成策略着重关注子词的热度,低频词很难被识别出来.[结论]通过增强词向量的语义理解能力,利用多语义词向量对新词候选词进行剪枝,能有效提升针对中文社交媒体文本的新词发现能力.

关键词：向量、新词、分词、N-gram、多语义词向量、语义相似度

所属期刊栏目：6

分类号：TP391;G35(计算技术、计算机技术)

资助基金：北京市自然科学基金;青海省藏文信息处理与机器翻译重点实验室/藏文信息处理教育部重点实验室开放课题基金项目;国家自然科学基金

在线出版日期：2022-03-25（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：113-121