数据分配

作品数：146被引量：341H指数：10
导出分析报告
相关领域：自动化与计算机技术更多>>
相关作者：李伟徐超戴紫彬南龙梅王健更多>>
相关机构：华为技术有限公司中兴通讯股份有限公司三星电子株式会社深圳市腾讯计算机系统有限公司更多>>
相关期刊：更多>>
相关基金：国家自然科学基金国家高技术研究发展计划国家教育部博士点基金国家重点基础研究发展计划更多>>
-
在结果中检索

检索结果分析

结果分析中...
选择条件：
  • 期刊=计算机工程与科学x
共 条 记 录，以下是1-4
全选清除导出
参考文献引证文献引用追踪
视图：
排序：
异构Spark集群数据倾斜修正调度策略被引量：1
《计算机工程与科学》2022年第4期620-630,共11页卞琛 修位蓉 于炯 
国家自然科学基金(61862060,61902081);广州市哲学社会科学规划项目(2021GZGJ145)。
异构Spark集群存在木桶效应,不合理的并行度导致任务分配与工作节点计算能力的适配性较差,进而影响集群计算效率和资源利用率。针对这一问题,首先建立模型,分析数据分布、并行度参数和节点任务分配的耦合关系,提出算法的优化目标,设计异...
关键词：SPARK 并行调度 数据分配 异构集群 数据倾斜 
基于训练数据动态分配的深度学习并行优化机制
《计算机工程与科学》2018年第A01期141-144,共4页颜子杰 陈孟强 吴维刚 
国家重点研发计划(2016YFB0200404);国家自然科学基金(U1711263)
基于MXNet框架,针对同步并行下参数同步耗时过长这一问题,提出了一种多机同步并行下的训练数据动态分配算法。基于计算节点的计算效率,每一次迭代后将动态调整节点需要处理的样本数据量。这样的机制使模型既能同步并行也降低了等待梯度...
关键词：深度学习 数据分配 同步并行 并行训练 超级计算 
流式处理系统的动态数据分配技术被引量：3
《计算机工程与科学》2014年第10期1846-1853,共8页王成章 林学练 谭静芳 
国家973计划资助项目(2014CB340300)
流式数据处理中,数据倾斜等原因易导致计算节点的负载不均衡,降低系统处理能力。传统的负载均衡方法,比如算子分配、算子迁移和负载脱落等技术因为相对较高的性能代价,在流式处理系统中没有得到广泛的应用。针对流式处理系统的特点,提...
关键词：数据流 流式处理 负载均衡 数据分配 数据迁移 
并行计算的数据分配被引量：3
《计算机工程与科学》1997年第2期59-62,共4页孙安香 宋君强 伍湘君 
"863"项目
本文主要讨论分布式存储环境下并行计算的最佳数据分配方案。通过理论分析和两个典型的大规模科技计算问题的数值实验表明。
关键词：分布式 存储环境 数据分配 并行计算 
全选清除导出
共1页<1>
检索报告 对象比较 聚类工具 使用帮助 返回顶部