影像档案多模态检索模型框架构建

摘要：

数字化转型为影像档案的管理提供了机遇和挑战.针对当前影像档案检索存在的问题,该文以影像档案内容检索为研究对象,在向量管理技术基础上构建影像档案的多模态检索模型框架.在所构建的框架中,将影像档案分解为声音、文本和图像三种模态,分别形成三类模态向量子空间,之后构建不同向量模型之间的对应关系形成总空间向量,进而通过计算查询数据与总空间向量的相似性,并通过多模态匹配得到更精准的影像档案片段.最后,该文以单个视频的识别过程为例,做"文本-影像"双模态的模拟实验,以验证实现影像档案多模态检索的可行性.

关键词：影像档案、多模态、检索模型

分类号：G271;F275;TP391

在线出版日期：2023-08-15（万方平台首次上网日期，不代表论文的发表时间）

页数：共3页

页码：29-31