分布式机器学习中的通信机制研究综述  

An Overview of Distributed Machine Learning Data Parallel Communication Mechanism

作　　者：杜海舟 黄晟 DU Haizhou;HUANG Sheng(School of Computer Science and Technology,Shanghai University of Electric Power,Shanghai200090,China)

机构地区：[1]上海电力大学计算机科学与技术学院,上海200090

出　　处：《上海电力大学学报》2021年第5期496-500,511,共6页Journal of Shanghai University of Electric Power

摘　　要：与传统的分布式计算不同,分布式机器学习更加关注参数同步和梯度同步,网络通信是最大的瓶颈。许多研究者针对网络问题提出了多种解决方法。首先介绍了机器学习领域内最热门的深度神经网络的发展背景,然后分别对数据并行模型中参数同步步调和参数同步方法进行了详细的概述,最后对分布式机器学习的发展趋势和面临的挑战进行了讨论。Different from traditional distributed computing,distributed machine learning focuses more on parameter synchronization and gradient synchronization,and network communication is its biggest bottlenecks.This paper first introduces the development background of deep neural network,and then gives a detailed overview of parameter synchronization steps and methods in the data parallel model.Finally,the development trend and challenges of distributed deep learning are discussed.

关 键 词：分布式机器学习 数据并行模型 参数通信 并行计算 

分 类 号：TP316.4[自动化与计算机技术—计算机软件与理论]