分布式并行智能计算模型研究  

作　　者：牛伟[1] 成娟[2] 高博 赵洋洋 NIU Wei;CHENG Juan;GAO Bo;ZHAO Yangyang

机构地区：[1]航空工业西安航空计算技术研究所,陕西西安710068 [2]西安应用光学研究所,陕西西安710065

出　　处：《信息技术与信息化》2021年第4期240-242,共3页Information Technology and Informatization

摘　　要：针对复杂系统数据处理计算量大、实时性要求高等问题,提出了一种分布式并行智能计算模型。利用Spark平台在分布式集群所有节点的内存RDD中完成遍历扫描运算,结合有向无环图搭建并行计算框架,引入负载均衡处理实现分布式系统所有节点能够均衡分担计算任务。结果表明,与单机情况相比,各节点的遍历任务分配更均衡,并行度更高。

关 键 词：SPARK 并行计算 负载均衡处理 

分 类 号：TP311.13[自动化与计算机技术—计算机软件与理论]