期刊专题

10.3778/j.issn.1002-8331.2102-0275

异构集群节点与作业特性感知资源分配算法

引用
为了避免多应用间的资源争用,Spark采用了FIFO、FAIR等作业调度策略,辅以SpreadOut和非SpreadOut两种资源调度算法,但是这些算法没有充分考虑用户作业类型和集群节点性能的相互关系.用户作业类型及节点性能偏向感知的资源调度算法ATNPA提出了对该问题的解决方案.ATNPA根据作业运行所需的内存量和CPU核数将用户作业分为CPU密集型和内存密集型.节点的性能偏向性由节点的静态因素和动态因素决定.静态因素包括CPU速度、内存大小、CPU核数和磁盘容量等;动态因素包括CPU剩余率、内存剩余率、磁盘剩余率和磁盘读写速度等.ATNPA算法在进行资源分配时,能够将作业分配到最适合其类型的节点上.仿真实验表明,与未考虑节点和作业匹配的算法相比较,ATNPA能够有效缩短作业的执行时间、提高集群的性能.

资源调度、任务调度、作业类型、节点性能偏向、Spark

58

TP393(计算技术、计算机技术)

国家重点研发计划;国家重点研发计划

2022-09-23(万方平台首次上网日期,不代表论文的发表时间)

共8页

327-334

暂无封面信息
查看本期封面目录

计算机工程与应用

1002-8331

11-2127/TP

58

2022,58(18)

专业内容知识聚合服务平台

国家重点研发计划“现代服务业共性关键技术研发及应用示范”重点专项“4.8专业内容知识聚合服务技术研发与创新服务示范”

国家重点研发计划资助 课题编号:2019YFB1406304
National Key R&D Program of China Grant No. 2019YFB1406304

©天津万方数据有限公司 津ICP备20003920号-1

信息网络传播视听节目许可证 许可证号:0108284

网络出版服务许可证:(总)网出证(京)字096号

违法和不良信息举报电话:4000115888    举报邮箱:problem@wanfangdata.com.cn

举报专区:https://www.12377.cn/

客服邮箱:op@wanfangdata.com.cn