基于HBase的大数据存储设计及高并发查询方法研究

摘要：

越来越多的应用基于大数据平台中的HBase表对海量数据进行高并发快速查询,但大数据集群中HBase表的存储设计和高效查询仍面临较多问题.本文为提高HBase表的高并发高效查询效果,提出了一种分表、预分区相结合的存储方法,有效解决了HBase表数据过多无法稳定存储及数据倾斜的问题,同时提出了一种在Spark模式下运用local的模式,根据所设计的RowKey进行负载均衡的高并发快速查询的方法,提高查询效率及稳定性.实验结果表明,上述方法能使数据均匀分布在集群中,同时具有较高的大数据量存储及查询性能.

关键词：HBase;大数据;存储;查询;高并发

所属期刊栏目：33

分类号：TP311.13(计算技术、计算机技术)

在线出版日期：2021-10-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：184-187