用户QoS感知的GPU集群深度学习任务动态调度  

User QoS-aware deep learning task dynamic scheduling on GPU clusters

作　　者：罗磊[1] 陈照云 王俪璇 LUO Lei;CHEN Zhao-yun;WANG Li-xuan(College of Computer Science and Technology,National University of Defense Technology,Changsha 410073,China)

机构地区：[1]国防科技大学计算机学院,湖南长沙410073

出　　处：《计算机工程与科学》2021年第8期1331-1340,共10页Computer Engineering & Science

基　　金：国家自然科学基金(61872377);国家重点研发计划(2018YFB0204301)。

摘　　要：提出一种GPU集群下用户服务质量QoS感知的深度学习研发平台上的动态任务调度方法。采用离线评估模块对深度学习任务进行离线评测并构建计算性能预测模型。在线调度模块基于性能预测模型,结合任务的预期QoS,共同开展任务放置和任务执行顺序的调度。在一个分布式GPU集群实例上的实验表明,该方法相比其他基准策略能够实现更高的QoS保证率和集群资源利用率。A QoS(Quality of Service)-aware deep learning task dynamic scheduling method on GPU clusters is proposed.The offline evaluation module is used to perform offline evaluation of deep learning tasks and build a computational performance prediction model.Based on the performance prediction model,combined with the expected QoS of the task,the online scheduling module carries out the scheduling of task placement and task execution sequence.Experiments on a distributed GPU cluster demonstrate that the proposed method can achieve higher QoS-guarantee percentage and cluster resource utilization than other baseline schedulers.

关 键 词：深度学习 GPU集群 任务调度 QOS 

分 类 号：TP311[自动化与计算机技术—计算机软件与理论]