构建面向WARC文档的全文索引系统

摘要：

[目的]开发网络信息存档WARC文件的解析与索引系统,充分挖掘科技网站存档资源价值.[应用背景]在网络资源采集存档领域,WARC文件格式获得了广泛的应用.随着网络信息的多样化,已有的WARC文件索引工具越来越难以满足用户多样性的查询需求.[方法]采用模块化方案解析WARC文件.分析比较常用的索引工具,选择Solr平台开发全文索引系统.[结果]实现对WARC文件基于内容的检索访问服务,并在WARC的索引中增加了学科分类、资源类型和存档时间等分面检索内容,从多维度对WARC文件内容进行揭示.[结论]向用户提供了丰富的科技网站存档数据信息,提高了用户检索访问效率.

关键词：网络存档、WARC文件、模块化解析、Solr索引

分类号：G352(情报学、情报工作)

在线出版日期：2016-07-06（万方平台首次上网日期，不代表论文的发表时间）

页码：91-98