面向大数据处理应用的广域存算协同调度系统

摘要：

以我国研发的高性能计算虚拟数据空间系统为基础,针对大数据处理应用如何统筹利用广域存储和计算资源的问题,设计并实现了一套面向大数据处理应用的广域存算协同调度系统.该系统可依据应用的计算特征和数据布局,通过存算协同、负载均衡、数据局部性感知等策略,在广域环境中协同调度应用数据和计算任务,统筹利用广域计算和存储资源,有效提升大数据处理应用的运行性能.在国家高性能计算环境中实际测试的结果表明,提出的调度方法可有效地支撑大数据处理应用,跨域目标协同识别、分子对接等典型应用的运行效率可提升3～4倍.

关键词：广域存算协同调度;大数据处理应用;虚拟数据空间;高性能计算环境

所属期刊栏目：7

分类号：TP316(计算技术、计算机技术)

资助基金：国家重点研发计划资助项目No.2017YFB1010000

在线出版日期：2021-10-12（万方平台首次上网日期，不代表论文的发表时间）

页数：共16页

页码：82-97