SPARK

作品数：1925被引量：5216H指数：24
导出分析报告
相关领域：自动化与计算机技术交通运输工程机械工程更多>>
相关作者：朱永利梁毅于炯胡峰熊安萍更多>>
相关机构：北京邮电大学中国科学院大学重庆邮电大学华中科技大学更多>>
相关期刊：更多>>
相关基金：国家自然科学基金中央高校基本科研业务费专项资金国家高技术研究发展计划河北省自然科学基金更多>>
-
在结果中检索

检索结果分析

结果分析中...
选择条件：
  • 期刊=计算机工程与设计x
共 条 记 录，以下是1-10
全选清除导出
参考文献引证文献引用追踪
视图：
排序：
基于种群混合迁移策略的并行量子遗传算法被引量：1
《计算机工程与设计》2024年第8期2386-2392,共7页陆涛 管荑 贾鹏 曲志坚 王子灵 
国家电网有限公司总部科技基金项目(5700-202116378A-0-0-00);山东省高等学校青年创新团队发展计划基金项目(2019KJN48)。
针对量子遗传算法求解大规模优化问题存在收敛速度慢、易于陷入局部最优等问题,改进量子遗传算法。设计一种种群混合迁移机制促进算法的种群多样性,采用仿TriBA种群结构、双精英种群、重生种群、自适应迁移算子、个体竞争排挤算子以及...
关键词：量子遗传算法 种群迁移 Spark框架 并行计算 收敛速度 全局优化 搜索空间 
基于Spark的分布式时序分类学习模型被引量：1
《计算机工程与设计》2023年第4期1042-1049,共8页申彦 敬露艺 张士翔 
江苏省产学研合作基金项目(BY2021075);国家自然科学基金项目(61702229);教育部产学合作协同育人基金项目(201902128024);江苏省基础研究计划(自然科学基金)基金项目(BK20150531);全国统计科学研究基金项目(2016LY17)。
LearnNSE算法保留了所有基分类器进行集成,基分类器权重调整较慢,对长期累积大数据的分类学习效率不高,且仅关注累积大数据,缺乏对短时间内突发产生大数据的关注,为此在所提PFLearnNSE-Pruned-Age算法基础上,研究一种基于Spark的分布式...
关键词：分类算法 大数据挖掘 集成学习 增量学习 非稳定环境 分布式系统 计算机集群 
基于Spark的并行反向k最近邻查询被引量：2
《计算机工程与设计》2022年第12期3340-3347,共8页杨泽雪 张毅 李陆 刘伟东 蒋超 
中国博士后科学基金项目(2019M651318);黑龙江省自然科学基金项目(LH2020F047);黑龙江省高等教育教学改革重点委托基金项目(SJGZ20200145);黑龙江工程学院创新团队基金项目(2020CX07)。
为提高海量空间大数据的反向k最近邻查询效率,采用当前流行的大数据处理框架Spark,对并行反向k最近邻查询进行研究。基于Spark框架构建并行索引结构,利用Voronoi图处理反向k最近邻查询的良好性能,构建基于网格和Voronoi图的双层索引结构...
关键词：空间数据库 空间大数据 并行查询 反向k最近邻查询 VORONOI图 空间索引 网格 
基于Spark的倾斜数据虚拟划分算法
《计算机工程与设计》2021年第8期2271-2276,共6页李俊丽 
国家自然科学基金项目(61876122、61602335)。
针对基于Spark的类别数据互信息的并行计算在数据倾斜情况下会造成某一个或几个reducer负载过重降低集群性能的现状,重新定义数据倾斜模型来量化由Spark创建的分区之间的数据倾斜度,提出数据虚拟划分算法DVP。通过将同一个键添加随机前...
关键词：数据倾斜 虚拟划分 类别数据 互信息并行计算 负载均衡 
Spark平台下日志清洗系统设计被引量：2
《计算机工程与设计》2020年第12期3580-3587,共8页李光明 李垚周 李颀 
陕西省科技厅农业科技攻关工程基金项目(2015NY028)。
为解决传统日志清洗系统在数据量增大时出现计算缓慢,磁盘I/O消耗过大,清洗不完善以及数据倾斜等问题,提出基于Spark的日志清洗系统设计。使用Hadoop、Flume、Kafka、Spark Streaming、Hbase等大数据组件进行系统搭建;通过决策对象识别...
关键词：数据清洗 数据倾斜 决策对象识别算法 大数据组件 火花 
利用并行惯性权重OOL-FA的大数据分类被引量：1
《计算机工程与设计》2020年第10期2818-2824,共7页钟章生 陈世炉 陈志龙 
国家自然科学基金项目(61663033);江西省教育厅科学技术研究基金项目(GJJ180989)。
针对现有大数据分类过程中特征选择算法精度较低,影响后续数据分类算法精度的问题,提出基于惯性权重正交反向学习(OOL)-萤火虫算法(FA)的大数据特征选择算法。借助FA的全局搜索能力,以及OOL分别在收敛速度、收敛精度方面的改进能力,实...
关键词：大数据分类 惯性权重OOL-FA算法 结构感知神经网络 Spark框架 特征选择 数据分类 
基于Spark和整数混沌的彩图拉格朗日加密分存方案被引量：2
《计算机工程与设计》2020年第4期901-907,共7页陈飞 刘建东 胡辉辉 刘博 张世博 
北京市教委面上基金项目(KM201810017005)。
针对图像加密分存算法安全性差及效率低的问题,结合二维整数耦合帐篷映射、拉格朗日插值公式和Spark并行框架,设计一种彩色图像并行加密分存方案。对分存ID进行分块,利用各个分存ID产生二维整数耦合帐篷映射的初始值,产生加密序列对图...
关键词：二维整数耦合帐篷映射 拉格朗日插值 Spark框架 安全性 效率 
基于Spark的有效载荷参数解析处理方法被引量：4
《计算机工程与设计》2020年第2期587-591,共5页张文彬 王春梅 王静 陈托 智佳 
为解决单机多线程有效载荷实时参数解析处理方法存在的吞吐率低、扩展能力弱问题,提出一种基于Spark集群的有效载荷实时参数解析处理方法。采用Kafka和Spark相结合的处理方式,利用Kafka将有效载荷实时数据转换为消息队列流,Spark通过Ka...
关键词：有效载荷 参数解析 实时数据处理 吞吐率 集群 
Spark协同过滤算法扩展性测试与分析被引量：2
《计算机工程与设计》2019年第6期1574-1579,共6页沈雯婷 刘财政 孙磊 李慧 许利杰 王伟 
国家自然科学基金项目(61572480);北京市重大基金项目(D171100003417002)
机器学习算法的线性扩展性要求算法的计算性能随节点数增加保持接近线性增长。针对当前ALS算法扩展性测试的不足,提出一种多维度扩展性测试方法,通过横向测试进行扩展性测试,使用纵向测试确定扩展性瓶颈。结合真实数据集在Spark MLlib...
关键词：分布式机器学习算法 交替最小二乘法 扩展性 多维度测试 测试发现 
Spark框架下分布式K-means算法优化方法被引量：13
《计算机工程与设计》2019年第6期1595-1600,共6页王法玉 刘志强 
国家自然科学基金项目(61571328);天津市自然科学基金项目(15JCTPJC60100);天津市普通高等学校本科教学质量与教学改革研究计划基金项目(171006008F)
针对传统K-means算法在处理海量数据时存在计算效率低和时间复杂度高的缺点,提出一种基于Spark计算框架的改进K-means算法。利用网格单元保存数据点的空间位置信息,通过与聚类中心的空间位置关系减少冗余计算,为提高算法处理海量数据的...
关键词：K-MEANS算法 Spark计算框架 分布式 网格 空间位置 
全选清除导出
共3页<123>
检索报告 对象比较 聚类工具 使用帮助 返回顶部