基于预训练和深度哈希的大规模文本检索研究

摘要：

针对文本检索中存在的检索效率和准确率不高的问题,提出一种基于预训练语言模型和深度哈希方法的检索模型.该模型首先通过迁移学习的方法引入预训练语言模型中所包含的文本先验知识,之后进行特征提取,将输入转化为高维的向量表示.在整个模型的后端加入哈希学习层,通过设计特定的优化目标对模型的参数进行微调,从而在训练中动态地学习哈希函数和每个输入的唯一哈希表示.实验表明,该方法的检索准确率相较于其他基准模型在top-5和top-10指标上分别有至少21.70％和21.38％的提升,哈希码的引入使得模型在仅损失4.78％准确率的前提下将检索速率提升了 40倍,因此该方法能够显著提升检索准确率和效率,且在文本检索领域有着潜在应用前景.

关键词：深度学习;相似性检索;预训练语言模型;深度哈希

所属期刊栏目：48

分类号：TP391.1(计算技术、计算机技术)

资助基金：国家自然科学基金61806221

在线出版日期：2021-12-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：300-306