以词为本的编码方案的探讨

摘要：

语言是人进行思维的主要工具,词是语言处理的基本单位.在计算机信息处理中,目前是按字设计编码.随着计算机信息处理技术的发展,这种完全按字编码的不足也日益显示出来.从信息处理的基本需求以及词的基本特性出发,提出字词综合考虑且以词为本的统一编码方案.该方案以现行的主要编码标准UTF-16为基础,维持现有的字编码,增加词编码；词编码以包括一定语义信息及语义关系的概念空间树进行逻辑组织,以适应聚类检索及语种间代码转换的原则进行空间组织 最后指出了需要进一步深入研究的几个疑难问题.

关键词：词编码、UTF-16、聚类检索、概念空间树、自然语言处理

所属期刊栏目：41

分类号：TP391.11(计算技术、计算机技术)

在线出版日期：2013-06-20（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：47-52