一种基于动态平衡树的在线索引快速构建方法

摘要：

倒排索引的构建可以通过离线方式高效地完成,但是仅当整个数据集索引完毕后方可提供检索服务.在线索引可以在构建倒排索引的同时提供检索服务,新加入的文档即刻可供检索.提出了一种基于动态平衡树的在线索引更新策略,利用动态平衡树控制索引合并过程,使索引合并总是在大小相近的子索引之间进行,以减少索引合并代价,同时可以调节索引和检索之间的性能平衡.该方法提供了一个基于合并的在线索引更新框架,与已有方法相比具有更好的通用性、更高的性能和更好的规模可扩展性.在由4000万张网页构成的270 GB Web数据集上运行的实验表明,该方法在实际系统中是高效的,将索引更新的性能提高了92.28%,而检索性能仅下降4.79%,大幅度降低了在线索引构建的代价.

关键词：信息检索、在线索引、索引性能、检索性能、动态平衡树

所属期刊栏目：45

分类号：TP391.3(计算技术、计算机技术)

资助基金：国家"八六三"高技术研究发展计划基金项目2006AA010105,2007AA01Z416;国家"九工三"重点基础研究发展规划基金项目2004CB318109

在线出版日期：2009-02-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：1769-1775