融合中文字形和字义的字向量表示方法

摘要：

字向量表示质量对中文文本处理方法有重要影响.常用中文字向量表示方法Word2Vec、GloVe存在没有考虑汉字整体字形结构所隐含的语义信息、没有利用字典包含的语言知识等问题.为了克服现有方法的不足,提出了融合中文字形和字义的字向量表示方法GnM2Vec(glyph and meaning to vector),首先采用字形自编码器自动捕获汉字字形蕴含的语义,得到字形向量,然后基于字形向量表示每条字义中的每个汉字,得到基于字形向量的字义向量,最后通过字义自编码器处理生成融合字形和字义的字向量表示.实验结果表明,在命名实体识别实验中,F1值较GloVe、Word2vec、G2Vec(基于字形向量)分别提高了2.25、0.05、0.3;在中文分词实验中,F1值分别提高了0.3、0.14、0.33.在短文本语义相似度计算实验中,使用了卷积神经网络(convolutional neural network,CNN)、Self-Attention和长短期记忆网络(long short-term memory,LSTM)3个模型,F1均值较word2vec和GloVe分别提高了3.24、1.99.

关键词：字向量表示;字形;字义;卷积自编码器;自然语言处理

所属期刊栏目：21

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家重点研发计划;陕西省科技计划重点产业创新链群项目;西安市科技计划科技创新引导项目

在线出版日期：2021-12-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：13787-13792