无词典抽词的RMMFS和BMMFS方法及其比较研究

摘要：

针对作为中文信息处理基础的抽词问题,本文在作者提出的正向串频最大匹配法(MMFS)的基础上,提出了逆向串频最大匹配法(RMMFS)及双向串频最大匹配法(BMMFS).这两种方法分别采用逆向和双向长串优先与串频统计的思路,并引进规则和支持度指标筛选,不需要词典,不需要事先进行语料库学习,不需要建立字索引,通过串匹配获取中文文本中的汉字共现模式,实时地抽取出包含专业术语及专有名词等未登录词在内的专指语义串、短语和词.实验研究了抽词准确率受规则的影响及随文本大小和词频变化的分布,结果表明BMMFS可以取得更好的抽词效果.

关键词：逆向串频最大匹配、双向串频最大匹配、自动抽词、汉字共现模式

所属期刊栏目：25

分类号：G35(情报学、情报工作)

资助基金：国家自然科学基金70271046

在线出版日期：2006-09-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：499-503