一种通用混合计算中间件的设计与实现

摘要：

随着接入设备的激增,网络应用及协议的不断涌现和互联网流量的爆发式增长,给数据分析与处理带来了极大的挑战.大数据环境中数据处理应用所呈现出的趋势是实时在线计算、离线批式计算以及动态响应式计算相互结合、相互影响,这就要求底层计算资源具备同时提供实时计算、批式计算及响应式计算的能力,然而传统的系统架构和编程模型已经无法满足这种混合计算需求.文中设计并实现一种构建在流式数据处理过程IStream之上的混合计算中间件(General-purpose Hybrid Computing Middleware,GHCM),它以统一、灵活的高层抽象将相互依赖的高并发实时处理业务逻辑、批处理业务逻辑和跨层次动态调用无缝融合起来.实验数据表明,GHCM在解决混合计算问题上具有良好的性能,在大幅缩短开发时间的同时为用户提供了可重用和易扩展等支持.

关键词：混合计算中间件、IStream模型设计、数据处理、程序无缝融合、系统实现、性能分析

所属期刊栏目：43

分类号：TN911.2-34;TP302

资助基金：国家重点研发计划;国家自然科学基金面上项目;天津市自然科学基金项目

在线出版日期：2020-06-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：55-60