基于时间序列模型的Kafka系统智能化管理方法

摘要：

区块链是分布式的数据存储系统,共识算法为区块链实现安全存储数据提供支撑和保障.Kafka作为共识算法中的一种,其高吞吐速率、低时延的特点受到青睐.但使用Kafka算法的系统接受大量交易时,易产生数据倾斜,即分布式系统的多节点结构中,大量数据集中在少数节点,导致系统资源被占用、性能下降.为解决上述问题,本文提出基于时间序列模型长短期记忆网络(LSTM)的智能优化方法.通过学习过往生产者接收到的交易量,预测下一时刻面临的交易量,动态调整生产者节点数量,减少数据集中在少数节点的情况.实验结果显示,本文方法可以将Kafka系统时延降低 2～3 倍,吞吐速率提升2～3 倍,与优化前相比系统效率提升52.62%,比2 种传统优化方法分别提升近3%和40%,能耗仅小幅提升,系统使用情况保持更加合理.

关键词：区块链、Kafka、长短期记忆网络(LSTM)、时间序列模型

所属期刊栏目：33

分类号：TP39;F270;F426.61

资助基金：国家自然科学基金;北京市自然科学基金;北京市教育委员会科技计划一般项目

在线出版日期：2023-11-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共13页

页码：1047-1059