SPARK

作品数：1925被引量：5216H指数：24
导出分析报告
相关领域：自动化与计算机技术交通运输工程机械工程更多>>
相关作者：朱永利梁毅于炯胡峰熊安萍更多>>
相关机构：北京邮电大学中国科学院大学重庆邮电大学华中科技大学更多>>
相关期刊：更多>>
相关基金：国家自然科学基金中央高校基本科研业务费专项资金国家高技术研究发展计划河北省自然科学基金更多>>
-
在结果中检索

检索结果分析

结果分析中...
选择条件：
  • 期刊=软件导刊x
共 条 记 录，以下是1-10
全选清除导出
参考文献引证文献引用追踪
视图：
排序：
Spark框架下均值漂移算法对舆情聚类的分析被引量：1
《软件导刊》2022年第6期141-146,共6页张京坤 王怡怡 
为提高对舆情信息的分析能力,设计并实现基于Spark框架的均值漂移算法。使用Ansj分词、Word2vec算法对舆情信息进行特征提取,然后基于Spark并行计算框架和均值漂移算法原理进行聚类分析。实验结果显示,均值漂移算法在Iris和Wine两组数...
关键词：舆情 SPARK 均值漂移 聚类 并行化 
基于并行Apriori算法的电网日志故障挖掘系统被引量：3
《软件导刊》2020年第9期186-189,共4页潘磊 
南京工程学院基础研究专项基金项目(JCYJ201825)。
为提升电网系统日志故障诊断效率,在Spark环境下,基于并行Apriori算法构建分布式日志故障挖掘系统,针对电网系统相关设备后台日志数据,构建频繁项集并挖掘关联规则,形成系统故障规则库,用于系统故障诊断。系统对50万条真实日志数据进行...
关键词：日志挖掘 关联规则挖掘 频繁项集 APRIORI SPARK 
基于Spark的均值漂移算法在网络舆情聚类中的应用被引量：3
《软件导刊》2020年第9期190-195,共6页张京坤 王怡怡 
为改善网络舆情态势感知与预警中舆情信息分析不准确的问题,提出基于Spark技术的均值漂移(MS)算法,利用该算法原理分析Spark框架特性,给出该算法在Spark框架中的实现过程,包括舆情信息预处理、特征提取、特征向量模型构建和算法聚类设...
关键词：网络舆情 聚类 均值漂移 SPARK K-MEANS 
基于Spark的分布式健康大数据分析系统设计与实现被引量：1
《软件导刊》2020年第7期99-102,共4页吴磊 欧阳赫明 
北京市社会科学基金项目(18JYB015,18SRB003)。
随着各类医疗健康信息数量的增长,如何利用医疗健康大数据辅助临床诊疗和科研,已经成为各医疗科研机构普遍关注的问题。针对该问题,设计并实现了一种基于Spark的分布式健康大数据分析系统。系统采用大数据分析技术并基于随机森林模型,...
关键词：大数据 大数据分析 Apache Spark 智能健康 机器学习 随机森林 
基于遗传算法的Spark中间结果数据迁移策略被引量：1
《软件导刊》2020年第4期89-92,共4页梁毅 陈金栋 苏超 毕临风 
国家自然科学基金项目(91646201,91546111);国家重点研发计划项目(2017YFC0803300)。
Spark是大数据内存计算系统的典型代表,通过内存缓存数据加速迭代型、交互型大数据应用的运行。基于时间窗口的数据分析是一类典型的大数据迭代型应用。基于Spark平台运行时间窗口数据分析应用,存在中间结果数据放置不均的问题,造成应...
关键词：SPARK 中间结果数据 数据迁移 
Spark平台加权分层子空间随机森林算法研究被引量：1
《软件导刊》2020年第3期120-124,共5页荆静 祝永志 
山东省自然科学基金项目(ZR2013FL015);山东省研究生教育创新资助计划项目(SDYY12060)。
如何在各式大数据中更快更准确地挖掘有用信息是研究热点。随机森林算法作为一种重要的机器学习算法,适用于大部分数据集。随机森林算法可以并行运行,这是随机森林算法处理大数据集时的优势。将随机森林算法应用在大数据处理框架Spark上...
关键词：随机森林 SPARK 大数据处理 特征选择 
基于决策树的日志分析方法被引量：1
《软件导刊》2020年第1期99-102,共4页樊建昌 余粟 
上海市科委创新行动计划项目(17511110204)
为了解决服务器运行过程中由于性能故障造成服务质量下降的问题,提出一种基于决策树的日志分析方法,以服务器日志文件中记录服务器关键性能指标的数据为研究对象,利用决策树中常用的ID3、C4.5和CART 3种算法预测服务器未来性能指标发展...
关键词：决策树算法 日志分析 SPARK 大数据 
基于Spark流式计算的实时电影推荐研究被引量：3
《软件导刊》2019年第5期44-48,共5页严磊 汪小可 
基于Hadoop平台的实时电影推荐系统在需要大量迭代计算时运行速度明显变慢,无法根据用户行为作出实时反馈。针对以上问题,设计基于Spark流式计算的实时电影推荐系统,可更好地满足用户实时需求。基于Spark流式计算的实时电影推荐系统将...
关键词：电影推荐 SPARK STREAMING SPARK 实时推荐 
基于Spark的大规模软件完整性校验行为识别框架被引量：1
《软件导刊》2019年第4期46-49,共4页邱景 李宜卓 
国家自然科学基金项目(61702140);黑龙江省科学基金项目(F201817)
软件完整性校验广泛应用于反篡改防御,保护软件知识产权,防止盗版。因此,了解不同完整性校验方法的强度和弱点很重要。针对传统检测方法处理大规模数据时效率较低的问题,描述了一个基于Spark的大规模软件完整性校验行为识别框架。对于...
关键词：软件安全 软件反篡改 完整性校验 污点分析 
Spark Streaming中参数与资源协同调整策略被引量：2
《软件导刊》2019年第1期45-47,55,共4页梁毅 刘飞 常仕禄 程石帆 
国家自然科学基金项目(91546111;91646201);国家重点研发计划项目(2017YFC0803300);北京市教委项目(KZ201610005009)
Spark Streaming是一种典型的批量流式计算平台,可用于处理持续到达的数据流。流式数据最重要的两个特征是波动性和时效性。利用动态调整系统参数和动态调整资源满足不同数据到达速率的响应延迟,但调整参数的方式具有局限性,其用户成本...
关键词：SPARK STREAMING 动态邻域粒子群 参数配置 资源分配 
全选清除导出
共3页<123>
检索报告 对象比较 聚类工具 使用帮助 返回顶部