基于迁移学习的并行化大数据流传输系统设计

摘要：

传统系统在并行化大数据流组件不变情况下的吞吐量会随着并发数增多而减少,影响数据流传输效率.为了解决这一问题,提出基于迁移学习的并行化大数据流传输系统.系统硬件由FPGA 核心控制器、XC7K325T-2FFG 900芯片、DCM时钟组成,用于实时传输数据流.系统软件是在STORM平台上引入迁移学习算法.软、硬件结合,完成基于迁移学习的并行化大数据流传输系统设计.实验分别测试了两个系统在并行化大数据流组件不变情况下的吞吐量.将并行化大数据流分类组件设置为(5.5),(5.6),(5.7),(5.8),从实验结果可知,所设计的系统吞吐量会随着并发数、线程增多,呈上升趋势,能够有效提升并行化大数据流传输效率.

关键词：并行化大数据流、数据流传输、系统设计、迁移学习算法、吞吐量测试、数据矩阵

所属期刊栏目：43

分类号：TN919-34;TP421

资助基金：国家自然科学基金项目11265012

在线出版日期：2020-09-23（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：40-42,46