面向深度学习训练的异构任务调度研究  

Research on Heterogeneous Task Scheduling for Deep Learning Training

作　　者：徐荣 魏莉 XU Rong;WEI Li(School of Information and Architecture Engineering,Anhui Open University,Hefei 230022,China)

机构地区：[1]安徽开放大学信息与建筑工程学院,合肥230022

出　　处：《西安文理学院学报（自然科学版）》2023年第3期35-39,共5页Journal of Xi’an University(Natural Science Edition)

基　　金：安徽省高校自然科学研究重点项目(2022AH052683);安徽省高校自然科学研究重点项目(KJ2021A1256);安徽开放大学校级科研课题(JY21-01)。

摘　　要：针对异构深度学习训练中任务调度效率低下的问题,提出了一种计算集群训练任务进度利润最大化的模型,该模型可以动态分配集群中多任务的计算单元数量.对每个模型进行预训练,以获得它们的进度曲线,并为每个模型建立关于处理速度的资源模型,建立了进度增量最大化模型,设计了贪婪算法用于分配集群中的资源.实验结果表明,本调度算法能减少任务完成时间.Aiming at the problem of low task scheduling efficiency in heterogeneous deep learning training,a model is proposed to maximize the profit of computing cluster training task progress.This model can dynamically allocate the number of computing units for multiple tasks in the cluster.Firstly,pre train each model to obtain their progress curves.Then,a resource model was established for each model regarding processing speed,a progress increment maximization model was established,and a greedy algorithm was designed to allocate resources in the cluster.The experimental results show that this scheduling algorithm can reduce task completion time.

关 键 词：深度学习 任务调度 计算集群 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]