基于Ring All-Reduce的高扩展性分布式机器学习架构  

作　　者：黄纯悦 杨宇翔 

机构地区：[1]东北大学计算机科学与工程学院,辽宁沈阳110169

出　　处：《电脑知识与技术》2022年第6期54-56,59,共4页Computer Knowledge and Technology

基　　金：辽宁省大学生创新创业训练计划(项目编号:S202110145204)。

摘　　要：如今,机器学习广泛应用于各个行业,然而随着当下各种应用场景的数据量的增大,分布式机器学习几乎成为唯一的选择。因此,各个设备之间的数据通讯的优化十分重要。在参数服务器架构中,参数同步通信量大,参数服务器节点的带宽会成为瓶颈;而在基于Ring All-Reduce的框架下,通信时间受限于环上最慢的连接,当环中GPU节点数变多的时候,会导致延迟变大。该文提出一种基于Ring All-Reduce的分层架构,将计算节点按算力大小分成多个小组,组内使用Ring All-Reduce算法进行同步并行,小组间使用参数服务器架构实现异步并行,保证模型收敛的条件下,兼顾各个节点的负载均衡。

关 键 词：分布式机器学习 联邦学习 分层Ring All-Reduce 

分 类 号：TP18[自动化与计算机技术—控制理论与控制工程]