期刊专题

10.11896/j.issn.1002-137X.2014.10.003

面向自然交互的多通道人机对话系统

引用
人们在对话过程中,除了使用口语交互外,还会很自然地利用表情、姿态等多模态信息辅助交流.重点分析并阐述了如何将这些多模态交互方式有效地融合到人机对话模型中,并实现一个面向自然交互的多模态人机对话系统.首先根据不同通道(如情感、头姿)对语音交互的影响,将它们主要分为信息互补、信息融合和信息独立3种模式,并针对3种模式分别采用不同的方式实现输入信息的多模态融合.信息融合后的对话管理,采用有限自动机、填槽法和混合主导方式的对话管理策略.针对对话中的情感处理,提出一种情感状态预测网络来记录用户的情感变化,并根据话语的轮转的不同对话上下文对用户情绪变化进行及时反馈,该对话模型能比较灵活地处理用户在对话过程中呈现的多模态信息.信息输出方面,针对人机对话中较为常用的数字虚拟人的行为控制,提出了一种简化的多模态协同置标语言,实现了虚拟人的包括情感、姿态与语音的同步表达,提高了虚拟人的表现力.最后基于以上关键技术,实现了一个面向城市路况信息查询的多模态自然人机对话系统.多个用户的体验表明,相对于传统的语音人机对话模型,多通道自然人机对话系统能有效提高用户交互的自然度.

多模态信息融合、人机交互、对话管理

41

TP37(计算技术、计算机技术)

对话管理为中心的双向多模态人机交互研究90820303;基于影像和语音分析的发音器官运动可视化61273288;语音产生过程的神经生理建模与控制61233009;文本无关的语音转换方法研究60873160;基于维度模型的情感语音建模及生成方法研究61203258

2014-12-01(万方平台首次上网日期,不代表论文的发表时间)

共8页

12-18,35

暂无封面信息
查看本期封面目录

计算机科学

1002-137X

50-1075/TP

41

2014,41(10)

专业内容知识聚合服务平台

国家重点研发计划“现代服务业共性关键技术研发及应用示范”重点专项“4.8专业内容知识聚合服务技术研发与创新服务示范”

国家重点研发计划资助 课题编号:2019YFB1406304
National Key R&D Program of China Grant No. 2019YFB1406304

©天津万方数据有限公司 津ICP备20003920号-1

信息网络传播视听节目许可证 许可证号:0108284

网络出版服务许可证:(总)网出证(京)字096号

违法和不良信息举报电话:4000115888    举报邮箱:problem@wanfangdata.com.cn

举报专区:https://www.12377.cn/

客服邮箱:op@wanfangdata.com.cn