视觉-语言导航的研究进展与发展趋势

摘要：

视觉-语言导航是近年来出现并蓬勃发展的新兴研究方向,是视觉-语言交互前沿领域中的代表性研究任务之一,其目标是根据人类给出的语言指令基于环境视觉感知实现自主导航.首先介绍该任务的研究内容,分析其面临的跨模态语义对齐、语义理解与推理和模型泛化能力增强3个方面的问题与挑战,然后列举了常用的数据集和评价指标;再从模仿学习、强化学习、自监督学习以及其他方法4个方面对该任务的研究进展进行归纳与总结,并对代表性方法的效果进行对比分析;从连续环境导航和高级复杂指令理解与常识推理2个方面论述该任务当前研究的热点趋势;最后对三维空间的视觉-语言导航、模糊导航、环境交互导航等未来发展方向进行讨论与展望.

关键词：视觉-语言导航、视觉-语言交互、跨模态语义对齐、行为决策

所属期刊栏目：34

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家重点研发计划;国家自然科学基金;中央高校基本科研业务费;模式识别国家重点实验室开放课题

在线出版日期：2023-02-10（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：1815-1827