基于改进均匀设计的Spark性能配置参数选择方法的研究  

作　　者：张威[1] 

机构地区：[1]湖北中医药大学,湖北武汉430065

出　　处：《自动化应用》2022年第6期74-76,共3页Automation Application

基　　金：湖北省教育厅科学技术研究计划指导性项目“基于k近邻回归的Spark性能配置优化方法的研究”(项目编号:B2018103)。

摘　　要：Spark分布式计算平台广泛地应用于大数据分析领域,有关Spark性能配置参数优化方法研究成了热点。Spark有100多个配置项以及丰富的配置参数值,配置项构建了庞大的配置空间,因此从这种多因素多水平的配置空间中选择出有效的配置项成为一个难题。针对这一问题,提出一种改进的均匀设计方法。该算法可以通过样本密度分析和模型梯度检测的方式,提高均匀实验设计的精度。最后,利用该方法测试出针对混合资源依赖应用选择出性能影响最大的配置项。

关 键 词：参数特征 均匀设计 Spark性能 启发式算法 

分 类 号：TP18[自动化与计算机技术—控制理论与控制工程]