面向大数据处理的数据流编程模型和工具综述

摘要：

利用大数据计算平台对大量的静态数据进行数据挖掘和智能分析助推了大数据和人工智能应用的落地.在面临互联网、物联网产生的日益庞大的实时动态数据的处理需求时,数据流计算被逐步引入目前的一些大数据处理平台中.针对数据流的编程模型,比较了传统软件工程的面向数据流的分析和设计方法与目前针对大数据处理平台的数据流编程模型提供的结构定义和模型参考,分析了两者的差异和不足,总结了数据流编程模型的主要特征和关键要素.分析了目前数据流编程的主要方式以及与主流编程工具的结合,针对大数据处理的数据流计算业务需求,给出了可视化数据流编程工具的基本框架和编程模式.

关键词：数据流、编程模型、大数据处理、编程工具

所属期刊栏目：6

分类号：TP391(计算技术、计算机技术)

资助基金：国家重点研发计划基金资助项目No.2018YFB1003401

在线出版日期：2020-12-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共14页

页码：59-72