SPARK

作品数：1925被引量：5216H指数：24
导出分析报告
相关领域：自动化与计算机技术交通运输工程机械工程更多>>
相关作者：朱永利梁毅于炯胡峰熊安萍更多>>
相关机构：北京邮电大学中国科学院大学重庆邮电大学华中科技大学更多>>
相关期刊：更多>>
相关基金：国家自然科学基金中央高校基本科研业务费专项资金国家高技术研究发展计划河北省自然科学基金更多>>
-
在结果中检索

检索结果分析

结果分析中...
选择条件：
  • 期刊=计算机技术与发展x
共 条 记 录，以下是1-10
全选清除导出
参考文献引证文献引用追踪
视图：
排序：
“天镜”全流程指标计算功能优化被引量：6
《计算机技术与发展》2023年第7期20-26,共7页徐达 曾乐 王英杰 
国家发展改革委工程建设项目(发改投资〔2021〕231号);国家气象信息中心“气象综合业务智能监控”创新团队攻关任务(NMIC-202011-05)。
气象综合业务实时监控系统-“天镜”为全国气象部门针对基础观测数据和产品在收集、分发、入库、同步各个环节提供数据全流程监视服务。“天镜”系统中气象资料全流程的到报率和及时率指标作为对全国气象站上行资料的考核依据,是一线值...
关键词：气象 “天镜” Spark计算 全流程 大数据 
基于Spark Streaming的气象自动站实时流处理与存储系统被引量：2
《计算机技术与发展》2023年第3期207-214,共8页马彬 李玉涛 许琪 
江苏省气象局面上基金项目(KM202002);中国气象局小型基建项目(QJ2017006)。
在当前大数据技术蓬勃发展的时代,人们对气象数据的实时处理、数据质量、数据存储及大规模查询等要求也越来越高。针对现有气象自动站数据业务落地环节多,任务处理耦合紧但系统部署分散等问题,文中基于Spark Streaming的流式计算框架,...
关键词：气象自动站数据 Spark Streaming 实时处理 FLUME 分布式数据库 
基于随机森林算法的负载预警研究及并行化被引量：2
《计算机技术与发展》2022年第11期204-207,220,共5页王诚 唐振坤 
江苏省自然科学基金项目(BK20141428)。
近年来国内通信行业发展十分迅速,运营商通信网络的规模也随之壮大。在运营商通信网络中,数据中心机房是不可或缺的重要枢纽,承担着巨大的通信压力,数据中心机房的配电系统故障率和安全事故的风险也在不断提高,同时也导致机房运维难度...
关键词：配电监测 负载预警 随机森林算法 SPARK 并行化 
基于Spark的花卉图像分类研究被引量：3
《计算机技术与发展》2022年第7期70-74,共5页侯向宁 徐草草 杨井荣 
四川省教育自然科学重点项目(18ZA0077);乐山市科技重点项目(19GZD055);成都理工大学工程技术学院基金项目(C122020006)。
针对传统单机模式对海量花卉图像数据分类效率低下以及现有网络模型对花卉分类准确率不高的问题,首先通过搭建Hadoop及Spark分布式计算框架,利用HDFS存储海量花卉图像数据,Spark进行分布式并行计算,HBASE存储相关的集群参数及网络模型...
关键词：花卉分类 HADOOP SPARK VGG16 TensorFlowOnSpark SK单元 
智慧供热大数据监测平台研究及应用被引量：8
《计算机技术与发展》2021年第11期176-182,188,共8页李恩洲 况立群 张元 韩燮 熊风光 
国家重点研发计划(2018YFB2101504)
针对供热环境在城市间一体化程度的提高而引发的设备种类繁多、采集信息量大、数据类型多样化、处理和分析困难以及各设备数据信息展示不直观的问题,研发并实现了一种智慧供热大数据监测平台,并在山西省供热体系中进行了应用。平台以云...
关键词：智慧供热 监测 React 可视化 B/S kafka Spark Streaming 
孤立森林算法研究及并行化实现被引量：15
《计算机技术与发展》2021年第6期13-18,共6页王诚 狄萱 
江苏省自然科学基金项目(BK20141428)。
异常检测是近年来数据挖掘中热门的研究课题之一,孤立森林算法是一种高效的无监督的异常检测算法,可以很好地处理高维大规模数据。针对孤立森林算法在计算测试样本的异常值时,计算的是测试样本在孤立森林下的平均路径长度,忽略了孤立二...
关键词：异常检测 孤立森林算法 孤立二叉树 SPARK 并行化 
基于Flink实时计算的自动化流控制算法被引量：5
《计算机技术与发展》2020年第8期66-72,共7页樊春美 朱建生 单杏花 杨立鹏 李雯 
中国国家铁路集团有限公司2018系统性重大项目(P2018X002);中国国家铁路集团有限公司2019重大项目(K2019X008)。
随着现在各种业务系统的复杂多样化,数据分析的实效性要求也变得越来越高,过去的离线分析很多已经不适用于当前的生产需要,针对于大数据的实时分析变得越来越重要。以当前热门的Flink流处理架构为解析平台,构建了分布式实时采集解析流...
关键词：Flink 流处理 SPARK 大数据 分布式 
基于Spark的Canopy-FCM在气象中的应用被引量：1
《计算机技术与发展》2020年第8期169-173,共5页勾志竟 宫志宏 徐梅 刘布春 
国家重点研发项目(2017YFC1502800)。
随着气象事业现代化水平的不断提高,气象部门积累了海量的气象数据,如何从海量的气象数据中挖掘出有用的知识,是提高气象服务能力的关键所在。针对传统聚类算法无法有效处理海量数据的问题,提出了一种基于Spark框架的Canopy-FCM(Canopy-...
关键词：FCM CANOPY SPARK 气象 数据挖掘 
基于Spark的层次聚类算法的并行化研究被引量：6
《计算机技术与发展》2020年第6期19-22,共4页余胜辉 李玲娟 
国家重点研发计划专项(2017YFB1401302,2017YFB0202200);国家自然科学基金(61572260,61872196)。
随着大数据时代的来临,传统的计算模式已经不足以支撑如此大量的数据。基于内存计算的大数据并行化计算框架Spark的出现很好地解决了这一问题。CURE是一种基于取样和代表点的层次聚类算法,它采用迭代的方式,自底向上地合并两个距离最近...
关键词：SPARK 层次聚类 CURE RDD 并行化 
基于Spark框架的改进协同过滤算法被引量：1
《计算机技术与发展》2020年第5期38-42,共5页邹红旭 潘冠华 李吟 
国家自然科学基金(61773384)。
随着互联网数据量的不断膨胀,单机已经无法在可接受的时间范围内计算完基于大规模数据的推荐算法,也无法存放海量的数据。利用Spark平台内存计算的优点,设计了一种分布式的基于项目的协同过滤算法,利用Spark提供的RDD(resilient distrib...
关键词：协同过滤 SPARK 稀疏数 相似度计 等值连接 
全选清除导出
共3页<123>
检索报告 对象比较 聚类工具 使用帮助 返回顶部