Spark计算节点同构环境下Executor的内存分配优化模型  

作　　者：朱蓉 

机构地区：[1]重庆市北碚区中医院

出　　处：《进展》2020年第1期49-52,共4页

摘　　要：本文在对Spark云计算平台的作业执行机制进行研究分析的基础上,针对目前Spark处理作业时Executor的人为请求资源机制,提出了一种Spark计算节点同构环境下Executor所需内存资源的优化分配算法。该算法能够基于处理数据的数据量对分布式内存资源进行弹性分配,达到了Spark在数据量变化情况下合理利用分布式内存资源这一目的,并对此进行了仿真实验验证。

关 键 词：SPARK EXECUTOR 内存资源 资源分配 

分 类 号：TN316.4[电子电信—物理电子学]