一种基于Actor模型的弹性可伸缩的流处理框架

摘要：

流处理是一种重要的大数据应用模式,在金融、广告、物联网、社交网络等众多领域得到了广泛应用.在流处理场景中,流数据的产生速度往往变化剧烈且不容易预测.这时,如果数据流量峰值超过处理系统的承载能力,可能使得系统运行缓慢甚至崩溃,导致处理作业失效;如果为了应对数据流量峰值而过度配置资源,则可能在系统轻载时产生不必要的浪费.为了解决流处理中负载和资源的匹配问题,流处理系统应该具有弹性可伸缩的能力,一方面以高效的方式组织运算资源;另一方面能根据数据流量的实时变化自动地调整资源使用量.然而,现有的流处理框架对于弹性可伸缩的支持尚很初步.介绍了一种基于Actor模型的弹性可伸缩的流处理框架eSault,eSault首先基于Actor模型将批量的处理单元进行分层管理,通过2层路由机制实现了对伸缩性的支持;在此基础上,设计一个基于数据处理延迟的过载判断算法和基于数据处理速度的轻载判断算法来指导系统对资源的有效使用,进而实现弹性可伸缩的流处理.实验结果表明:eSault具有较好的性能,而且能够很好地实现弹性可伸缩.

关键词：流处理、Actor模型、云计算、弹性可伸缩、2层路由机制

所属期刊栏目：54

分类号：TP391(计算技术、计算机技术)

资助基金：国家“八六三”高技术研究发展计划基金项目2015AA01A202;国家“九七三”重点基础研究计划基金项目2011CB302604;国家自然科学基金项目61272154,61421091;百度云服务开放平台不范项目2015年;the National High Technology Research and Development Program of China 863 Program2015AA01A202;the National Basic Research Program of China 973 Program2011CB302604;the National Natural Science Foundation of ChinaG61272154,G61421091;the Baidu Cloud Service Open Platform Demonstration Project2015

在线出版日期：2017-06-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：1086-1096