基于大规模语料划分的频繁模式查找算法

摘要：

频繁模式查找对新词识别、网络舆情监测、生物信息序列检测等领域有很高的应用价值.为处理规模远超出内存的语料,提出了一种实用的频繁模式查找算法.先将语料按后缀首字符划分为多个集合,通过逐条扫描集合数据,搜索出最大化最长公共前缀区间(MLCPI)来完成查找.另外在此基础上提出逐层归并算法,实现查找的同时归并子串.由于进行查找时无需将全部数据导入内存,因此资源消耗较少；各集合间频繁模式查找互不干扰,可采用并行处理加快运行速度.使用4.61G纯文本语料进行了试验,结果表明其内存消耗小于30M,查找速度最快达1.08M/s,能高效地进行子串归并.

关键词：频繁模式、重复串、语料划分、子串归并

所属期刊栏目：39

分类号：TP391(计算技术、计算机技术)

资助基金：国家863计划重点项目2006AA010109

在线出版日期：2012-05-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：149-152,169