面向R语言的分布式流处理系统设计与实现

摘要：

为了使得在数据分析领域广泛使用的R语言能够应用于大规模数据的分布式流处理计算,基于Spark Streaming框架,设计和实现了一个面向R语言的分布式流处理系统.系统提出了一套完备的R/Java跨语言交互模型,实现了R语言程序和Java程序的互相调用,从而使得R语言程序可以运行在Java平台上,改进了R语言在大规模数据处理和并发计算等方面的不足.系统也提供了Spark Streaming的R语言编程接口,提高了后者的易用性.通过实例验证了该系统的可行性和实用性.

关键词：流处理、分布式系统、并行计算、R语言、Spark Streaming

所属期刊栏目：16

分类号：TP302.1(计算技术、计算机技术)

资助基金：国家自然科学基金61100238;中科院先导XDA06010301;中国科学院重点部署KGZD-EW-103;上海市科委14510722300,14511101505;中国科学院青年创新促进会资助

在线出版日期：2016-05-03（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：208-213