集合通信

作品数：33被引量：54H指数：4
导出分析报告
相关领域：自动化与计算机技术更多>>
相关作者：龚翔宇吴涛魏迪尹万旺游定山更多>>
相关机构：华为技术有限公司中国科学院中国科学院大学国防科学技术大学更多>>
相关期刊：《中国新通信》《核动力工程》《计算机科学与探索》《数据与计算发展前沿（中英文）》更多>>
相关基金：国家高技术研究发展计划国家自然科学基金国家重点实验室开放基金中国科学院战略性先导科技专项更多>>
-
在结果中检索

检索结果分析

结果分析中...
共 条 记 录，以下是1-10
全选清除导出
参考文献引证文献引用追踪
视图：
排序：
面向国产超算系统的大模型训练优化方法
《数据与计算发展前沿(中英文)》2025年第2期120-129,共10页屈志勇 王晓光 周纯葆 史源香 乔嘉伟 
山西省气象局揭榜挂帅项目(SXKJBGS202409);山西省档案科技项目共同资助(2024-SX-002);国家气象信息中心重点创新团队(NMIC-2024-ZD08)。
【目的】为了降低国产超算系统上的大模型训练开销,研发一套大模型训练优化方法。【方法】本文基于MPI与UCC形成一套通信后端,将进程组快速构建与低延迟集合通信相结合,在此基础上引入基于压缩的集合通信优化方法。【结果】通过在国产...
关键词：大语言模型 分布式训练 集合通信 数据压缩 
面向大模型时代的网络基础设施研究:挑战、阶段成果与展望
《计算机研究与发展》2024年第11期3664-3677,共14页翟恩南 操佳敏 钱坤 关宇 
拥有千亿级别参数的大语言模型(large language model,LLM)已为今天的人工智能和云服务带来了巨大的技术和商业变革.然而,大模型训练与传统的通用云计算(例如,亚马逊EC2弹性计算服务)之间存在较多根本性的网络行为差异,从而带来了很多...
关键词：AI基础设施 大语言模型 大模型 模型训练 数据中心网络 集合通信 通信调度 
可重构OCS技术在大模型预训练中的应用(特邀)
《光通信研究》2024年第5期25-34,共10页朱宸 周谞 王佩龙 
【目的】相比于电子分组交换机(EPS),全光电路交换(OCS)在时延、功耗、成本和稳定性等各个方面都体现出了优势,文章通过分析大模型预训练中的并行切分策略、集合通信需求、流量模式和现今的网络架构,讨论了基于OCS在训练组网中的可行的...
关键词：全光电路交换 可重构 光电混合网络架构 大模型预训练 集合通信 并行训练 
硬件集合通信中聚合树构建方法
《计算机研究与发展》2024年第2期503-517,共15页陈淑平 尉红梅 王飞 李祎 何王全 漆锋滨 
国家重点研发计划项目(2020YFB0204602)。
传统的MPI (message passing interface)集合通信是基于点到点消息实现的,性能较低;而硬件集合通信具有性能高、CPU占用率低等优点,正受到越来越多的关注.硬件集合通信中,聚合树对集合通信性能具有至关重要的影响.研究了影响硬件集合通...
关键词：MPI集合通信 聚合树 开销模型 高速互连 高性能计算 
基于“嵩山”超级计算机的UCX库分析与优化
《计算机工程》2023年第12期274-281,共8页刘康 万伟 刘波 李俊宏 李柱 
UCX是一个经过生产验证的优化通信框架,适用于当前的高带宽和低延迟高速网络。UCX作为“嵩山”国产高性能计算平台的通信中间件,提高了并行编程模型在InfiniBand(IB)高速互联网络上的开发效率,同时其性能也会直接影响上层应用的通信能...
关键词：UCX框架 高性能计算 集合通信 InfiniBand协议 共享内存 消息传递接口 高速网络 
流水线并行JFNK方法及在中子k本征值问题中的应用被引量：2
《核动力工程》2023年第5期15-22,共8页刘礼勋 张汉 邬颖杰 郭炯 李富 
北京市自然科学基金资助项目(1212012)。
JFNK(Jacobian-free Newton-Krylov)方法是求解中子k本征值和反应堆多物理场耦合等非线性问题的高效加速方法,其中的Krylov迭代常用广义极小残差法(简称GMRES)。并行JFNK方法是实现更大规模问题求解的必要手段,其核心是解决GMRES中Gram-...
关键词：流水线方法 并行JFNK 消息传递接口(MPI) 集合通信 非阻塞通信 并行效率 
一种面向大规模并发的Gatherv优化方法
《计算机工程与科学》2022年第9期1542-1549,共8页孙浩男 王飞 魏迪 尹万旺 史俊达 
国家重点研发计划(2020YFB0204602)。
MPI不规则集合通信Gatherv为描述并行通信行为提供了极大的灵活性,但其不规则特性带来了较高的实现难度。现有方法存在通信热点突出、内存开销大和访存效率低等问题,难以满足当今大规模并行应用的性能需求。提出一种面向大规模并发的Gat...
关键词：MPI 不规则集合通信 Gatherv Binomial-Tree 消息链调度 
分布式深度学习训练网络综述被引量：18
《计算机研究与发展》2021年第1期98-115,共18页朱泓睿 元国军 姚成吉 谭光明 王展 户忠哲 张晓扬 安学军 
中国科学院战略性先导科技专项(B类)(XDB24050200);国家自然科学基金面上项目(61972380,61702484);中国科学院计算技术研究所创新课题(20166060)。
近年来深度学习在图像、语音、自然语言处理等诸多领域得到广泛应用,但随着人们对深度学习的训练速度和数据处理能力的需求不断提升,传统的基于单机的训练过程愈发难以满足要求,分布式的深度学习训练方法成为持续提升算力的有效途径.其...
关键词：分布式计算 深度学习 通信网络 性能优化 集合通信 集群网络 
一个轻量级分布式机器学习系统的设计与实现被引量：6
《计算机工程》2020年第1期201-207,共7页宋匡时 李翀 张士波 
中国科学院“十三五”信息化重大专项“中国科学院科研教育态势感知服务”(XXH13504-03)
为满足大规模机器学习系统高定制化、低耦合与低资源消耗的需求,设计并实现一个轻量级分布式机器学习系统。采用模块化分层设计并移植多种主流的机器学习与深度学习算法,同时提出参数服务器与动态Ring-AllReduce 2种可扩展梯度同步方案...
关键词：机器学习系统 分布式系统 并行计算 集合通信 模块化 
GRAPES_CUACE大气化学耦合模式并行优化被引量：1
《计算机科学》2019年第S11期528-534,共7页叶跃进 陈德训 胡江凯 马欣 张小曳 
国家重点研发计划(2016YFC0203300);国家重大专项基金(2016YFA0602202,2017YFB0202603)资助
文中主要介绍了数值天气预报模式GRAPES_MESO(4.0版本)与大气化学模式CUACE在线耦合形成的GRAPES_CUACE大气化学耦合模型在不同版本的x86体系结构下的并行优化算法的研究与分析。借鉴目前国内外主流的并行优化设计方法,结合GRAPES_MESO...
关键词：异步IO 粗粒度 连续访存 集合通信 
全选清除导出
共4页<1234>
检索报告 对象比较 聚类工具 使用帮助 返回顶部