基于视频的人机交互中动作在线发现与时域分割

摘要：

时域分割问题是计算机视觉领域长期存在的问题.尤其在基于视频的人机交互过程中,动作的发现和分割被要求在线完成.对此,文中提出了一种基于模板的识别框架.对于不断产生新数据的在线视频序列,该方法可根据已知的信息,及时在线发现和分割已完成动作.该方法主要过程为:首先,通过基于鞅过程的算法提取关键帧,然后沿着关键帧对前序帧进行回退式遍历,接着通过构建动作历史图像来描述动作信息,最后通过计算相对于模板动作的包含率和七阶不变矩相似度实现动作的最优分割.在IXMAS数据集上进行实验,该方法的平均动作发现率达到了88％,准确率达到了75.9％,在基于深度数据的在线实验中,该方法获得了82％的平均动作发现率.

关键词：动作时域分割、关键帧、动作历史图像、人机交互

所属期刊栏目：38

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金61272357,61300074;教育部新世纪人才计划NCET-10-0221;博士后科学基金20100480199;Our work belongs to the research project of "Multidimensional Virtual Sense Oriented Action Modeling and Behavior Understanding", which is supported by the National Natural Science Foundation of China61272357

在线出版日期：2016-03-02（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：2477-2487