云海大数据一体机体系结构和关键技术

摘要：

为了弥补从大数据技术到行业应用之间的鸿沟,针对当前行业用户对大数据处理平台的持续扩展、一体化和多样性需求,提出了大数据一体机的可扩展性、可定制性和多类型处理模型,并基于此设计了云海大数据一体机.该一体机采用兼顾横向和纵向可扩展的体系结构,并采用硬件可定制化设计和混合型软件架构支持多种大数据应用类型.在此基础上,针对HDFS元数据服务瓶颈问题、MapReduce负载倾斜问题、HBase的跨域问题,介绍了在云海大数据一体机中采用的多元数据服务、负载均衡和跨数据中心大表技术.在电信、金融和环保行业实际案例中的应用和测试表明,上述体系结构和关键技术是可行和有效的.

关键词：大数据一体机、可扩展性、可定制性、混合型软件架构、大数据行业应用

所属期刊栏目：53

分类号：TP311.133.1;TP338.6(计算技术、计算机技术)

资助基金：国家“八六三”高技术研究发展计划基金项目2015AA050203;“核高基”国家科技重大专项2013ZX01039002This work was supported by the National High Technology Research and Development Program of China 863 Program2015AA050203;the Core Electronic Devices,High-End Generic Chips and Basic Software of National Science and Technology Major Projects of China2013ZX01039002

在线出版日期：2016-06-01（万方平台首次上网日期，不代表论文的发表时间）

页数：共16页

页码：374-389