基于可变时间窗口的增量数据抽取模型

摘要：

基于合适的数据抽取模型持续不断地将变化的数据从各个数据源系统进行抽取集成,是各个异构系统之间进行数据共享融合的关键,也是构建增量式数据仓库来进行数据分析的关键.传统的时间戳变化数据捕获方式存在因数据抽取过程中发生异常而导致数据抽取失效,进而影响数据抽取效率的问题.鉴于此,文中借鉴时间窗口的思想,采用先抽取少量重复记录再去重的做法,对传统的时间戳增量数据捕获模型进行了改进,提出了基于可变时间窗口的增量数据抽取模型.该模型减少了异常对数据抽取的影响,增强了时间戳增量数据抽取ETL流程的可靠性,在一定程度上提高了数据的抽取效率.

关键词：变化数据的捕获、增量抽取、时间戳、ETL

所属期刊栏目：45

分类号：TP311(计算技术、计算机技术)

资助基金：北京市自然科学基金4172018

在线出版日期：2018-12-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：204-209,230