SPARK

作品数：1925被引量：5216H指数：24
导出分析报告
相关领域：自动化与计算机技术交通运输工程机械工程更多>>
相关作者：朱永利梁毅于炯胡峰熊安萍更多>>
相关机构：北京邮电大学中国科学院大学重庆邮电大学华中科技大学更多>>
相关期刊：更多>>
相关基金：国家自然科学基金中央高校基本科研业务费专项资金国家高技术研究发展计划河北省自然科学基金更多>>
-
在结果中检索

检索结果分析

结果分析中...
选择条件：
  • 期刊=计算机应用与软件x
共 条 记 录，以下是1-10
全选清除导出
参考文献引证文献引用追踪
视图：
排序：
基于Spark与混沌系统的图像加密算法被引量：2
《计算机应用与软件》2023年第8期342-349,共8页钟鸣 刘建东 刘博 刘玉杰 李博 
针对大数据平台环境下数据信息的安全问题和执行效率问题,提出一种基于Spark大数据平台和三维动态整数帐篷映射的图像加密算法。在Spark平台中读取图像数据并进行分块处理后,利用map函数分别对每个图像块进行加密并保存。相较于一维和...
关键词：大数据平台 三维动态整数帐篷映射 混沌系统 图像加密 加密效率 
串行式混合类型航道船舶交通组织优化被引量：1
《计算机应用与软件》2023年第2期26-32,39,共8页王志强 张新宇 李倍莹 王婧贇 
国家自然科学基金项目(51779028)。
随着港口航道类型逐渐向多样化、复杂化的混合类型趋势发展,港口交通问题愈发严峻。调研国内外港口混合类型航道,抽象出一种串行式简单混合类型航道作为研究对象。分析混合航道船舶交通状况,构建以单向/混合通航模式转化、混合航道异类...
关键词：混合类型航道 船舶交通组织优化 分布式多目标遗传算法 Spark并行计算框架 
基于Spark的变压器局部放电模式识别并行化实现
《计算机应用与软件》2023年第1期74-78,145,共6页李涛 朱永利 
国家自然科学基金项目(51677072);中央高校基本科研业务费专项资金项目(2018QN078)。
快速高效地识别局部放电类型不仅对电力设备的状况评估具有十分重大的意义,而且能够实现智能电网下对电力设施监测数据的快速诊断。因此,在Spark计算框架的基础上提出基于VPMCD(Variable Predictive Model Based Class Discriminate)的...
关键词：Spark计算框架 VPMCD 局部放电 模式识别 
融合多任务深度学习与主动学习的民航常旅客缺失数据填补
《计算机应用与软件》2022年第8期21-27,共7页李国 袁闻 王怀超 
民航重要信息系统主动容灾保护关键技术研究项目(U1833114);中央高校基本业务费项目(3122019120);民航科技重大专项(MHRD20160109)。
针对用溯源法主动对数据记录进行真实值填补成本较高的问题,结合多任务学习与主动学习的优势,提出一种深度多任务主动学习网络,将缺失数据填补任务与常旅客价值分类任务同时进行训练。此外,考虑到生产大数据环境,提出一种基于Spark的主...
关键词：民航常旅客运营数据 缺失值 常旅客价值分类 深度多任务主动学习 降噪自编码器 SPARK 
Spark查询引擎中Join操作的优化被引量：1
《计算机应用与软件》2022年第8期44-50,共7页赵丽梅 黄小菊 宫学庆 
Spark是基于Map/Reduce计算模型进行大规模数据处理的分布式系统,每个任务都会被分为很多Map处理和Reduce处理在各个节点上并行执行。Shuffle操作是用于连接Map处理和Reduce处理的桥梁。在对两个大表进行Join操作的过程中,如果两表Join...
关键词：SPARK JOIN SHUFFLE Semi Join 
基于LightGBM的网络入侵检测研究被引量：15
《计算机应用与软件》2022年第8期298-303,311,共7页唐朝飞 努尔布力 艾壮 
国家自然科学基金重点项目(重大联合)(61433012);自治区创新环境(人才、基地)建设专项(PT1811)。
针对传统的常用机器学习算法在网络入侵检测中存在准确率不够高、训练速度慢的缺点,提出基于特征选择、LightGBM的网络入侵检测系统。使用PCA进行特征选择,采用QPSO为LightGBM算法选择最优参数,在Spark集群上运行,缩短了训练时间。此外...
关键词：网络入侵检测 特征选择 lightGBM QPSO SPARK 
一种基于Spark的改进随机森林算法被引量：4
《计算机应用与软件》2021年第8期275-279,共5页段文杰 童孟军 
国家自然科学基金项目(31570629);浙江省自然科学基金项目(LY16F020036)。
提出一种改进随机森林算法(SP-RF)。通过建立数据抽样索引表和随机特征索引表来实现随机森林算法在Spark上的并行化;通过计算随机森林算法中每个决策树的AUC值来给分类能力不同的决策树分配权重;提高随机森林算法在投票环节的分类精度...
关键词：随机森林 SPARK AUC 并行化 大数据 
基于Spark字典表压缩存储的关联规则算法优化被引量：6
《计算机应用与软件》2021年第8期37-43,共7页刘丽娜 姜利群 
广东高校优秀青年创新人才培养计划资助项目(2018KQNCX309);教育部2020年第一批产学合作协同育人项目(202002191035)。
针对大数据新型处理框架Spark执行Apriori算法存在速率低、内存负荷高等不足,提出一种改进的Apriori优化算法。基于字典表压缩存储的机制,结合Spark框架中列式存储模式对多维多属性值的数据集进行压缩,通过Spark集群进行数据并行处理。...
关键词：联规则 算法优化 压缩存储 字典表 
决策树模型预测Spark SQL作业执行时间的方法
《计算机应用与软件》2021年第4期24-31,123,共9页吴恩慈 
Spark SQL在超大规模集群和数据集上存在易用性问题,如Catalyst最优执行计划的选择,Shuffle Partition的配置对性能有较大的影响,数据倾斜往往导致集群性能变差。为了在作业执行之前准确预测执行时间,更加充分地使用运行时数据,选择最...
关键词：任务调度 计算引擎 作业特征 执行时间 预测模型 决策树 
基于Spark的并行信任进化算法
《计算机应用与软件》2021年第3期243-248,共6页黄冬平 周夏冰 刘冠峰 
国家自然科学基金青年基金项目(61702518);江苏高校优势学科建设工程项目。
为了提高信任进化(MET)算法在大数据环境下的时效性,提出一种基于Spark的并行MET算法——SparkMET。采用主从式架构,由主节点进行变异、交叉、选择过程,从节点计算适应度值。针对数据倾斜问题,提出一种新的数据分区策略——LBP算法,在Sp...
关键词：MET SPARK 并行计算 数据倾斜 
全选清除导出
共4页<1234>
检索报告 对象比较 聚类工具 使用帮助 返回顶部