面向Kafka共识消息传输的负载均衡算法

摘要：

Kafka是一种高吞吐量消息中间件,但该算法存在负载均衡导致消费者消息处理效率下降的问题.本文提出一种改进的Kafka负载均衡算法,其中协调者基于消费者和分区的对应关系,根据不同的负载均衡场景优化调整消费者数目,按照业务负载倒序的方式更新消费者和分区的对应关系,优先处理负载较大的业务分区,提高消息传输效率,并且搭建Fabric联盟链验证分析算法的性能.实验结果表明,本算法在中央处理器(CPU)资源消耗比其他算法低5％的情况下,共识速度提升了2％ ～7％,并且在6个Kafka节点中3个宕机的情况下仍然能共识上链,提升了Kafka负载均衡算法的效率和稳定性.

关键词：Kafka、负载均衡、区块链、消费者、优化

所属期刊栏目：33

分类号：TP311.52;TN915.04;F270.7

资助基金：国家自然科学基金;北京市教育委员会科技计划一般项目;北京市教育委员会科技计划一般项目

在线出版日期：2023-04-26（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：42-49