一种改进的DRF算法对BESIII集群资源管理的优化  

The Optimization of BESIII Cluster Resource Management by Using the Improved DRF Algorithm

作　　者：霍菁[1,2] 石京燕[2] 孙功星[2] 阚博文[2] 

机构地区：[1]中国科学院大学,北京100049 [2]中国科学院高能物理研究所,北京100049

出　　处：《核电子学与探测技术》2014年第10期1153-1158,共6页Nuclear Electronics & Detection Technology

基　　金：国家自然科学基金(11375223;11375221);国家自然科学基金A3前瞻计划(61161140454)

摘　　要：根据BESIII集群的实际需求,在测试和研究了不同类型的高能物理数据处理作业不同配置机器上的运行效果的基础上,提出了一种改进的DRF资源分配算法,加入了机器性能评级和作业类型匹配两个因素作为资源调度的依据,对算法进行实现并使用真实数据进行了实验测试。测试结果表明:新算法能够更加合理地分配资源,有效提高系统资源利用率,缩短作业运行时间。This paper presents an improved DRF resource allocation algorithm for BESIII cluster , as a result of the tests and research on different type of high energy physics jobs running on different machines .The machine performance rating and job type matching are added to the new algorithm as two factors for resource allocation . The new algorithm is implemented and tested with real data .The results show that the new algorithm can allo-cate resources more effectively , which improves the resource utilization and reduces the run time of jobs .

关 键 词：集群资源管理 DRF资源分配算法 Mesos TORQUE HADOOP 

分 类 号：TP319[自动化与计算机技术—计算机软件与理论]