数据分区

作品数：106被引量：382H指数：10
导出分析报告
相关领域：自动化与计算机技术更多>>
相关作者：蔡乐佟强刘雪梅于雷马建辉更多>>
相关机构：华为技术有限公司阿里巴巴集团控股有限公司国际商业机器公司深圳市腾讯计算机系统有限公司更多>>
相关期刊：更多>>
相关基金：国家自然科学基金国家教育部博士点基金重庆市自然科学基金北京市自然科学基金更多>>
-
在结果中检索

检索结果分析

结果分析中...
共 条 记 录，以下是1-10
全选清除导出
参考文献引证文献引用追踪
视图：
排序：
面向结构化数据的数据湖增量计算优化探究
《现代计算机》2024年第24期150-153,共4页蒋永红 
旨在优化面向结构化数据的数据湖中的增量计算,通过深入探讨SHUFFLE机制及数据倾斜问题,以提高计算效率。详细分析了SHUFFLE机制及其在Spark中的数据倾斜现象,指出数据倾斜会严重影响任务的执行时间以及资源利用率。在此基础上,针对小...
关键词：数据湖 存取性能 数据分区 
无线网络突发流量数据分区调度方法
《海南热带海洋学院学报》2024年第5期80-87,共8页余华东 张步忠 濮光宁 
安徽省质量工程项目(2023jyxm1548);安徽省高校自然科学研究项目(2023AH052070);安徽省高校自然科学研究重点项目(2022AH052536)。
针对无线网络中突发流量数据导致网络存在传输时延和拥塞问题,提出基于多核神经网络的无线网络突发流量数据分区调度方法。首先,利用空闲时槽侦听的无线网络分区方法,通过计算节点分布密度和节点流量容量,判断无线网络中节点处于稀疏区...
关键词：无线网络 RBF核函数 多核神经网络 突发流量数据 分区调度 
面向负载均衡的动态均衡分区策略
《计算机应用与软件》2024年第8期46-52,共7页杨迪 赵家伟 王鹏 赵建平 
中央引导地方科技发展资金吉林省基础研究专项(202002038JC)。
针对MapReduce计算框架处理倾斜数据集时造成Reduce端出现负载不均衡现象,提出一种动态均衡分区策略。在mapper阶段提出基于分治法的数据切分原则处理任务传入的数据组;结合最佳适应算法思想设计动态分配原则逐步将切分后的数据块均衡...
关键词：MAPREDUCE 负载均衡 数据倾斜 数据分区 
面向数据湖存取性能优化的数据并行处理技术研究
《北方工业大学学报》2024年第3期1-10,共10页赵卓峰 陈元 梅宇生 
国家自然科学基金国际合作与交流项目(62061136006)
本文围绕数据湖应用背景下海量数据的高性能存取需求,以新型数据存储模型和分布式存储及缓存机制为目标,通过对数据湖存储结构、数据访问模式和数据处理方法进行分析,开展数据湖存取性能优化问题研究。首先,结合数据湖系统中的文件系统...
关键词：数据湖 存取性能 数据分区 并行计算 索引优化 
面向分布式数据库的算子并行优化策略被引量：1
《西北工业大学学报》2024年第3期453-459,共7页刘文洁 吕靖超 
国家自然科学基金(61732014);华为合作研究项目(D5204220342)资助。
随着网络技术的不断发展,数据规模呈现爆发式增长,使得传统的单机数据库逐步被分布式数据库所取代。分布式数据库采用节点协同工作方式解决了大规模数据存储问题,但由于增加了节点间通信开销,查询效率却不如单机数据库。分布式架构下,...
关键词：分布式数据库 并行查询 查询优化 负载均衡 数据分区 
基于LSM-Tree的分布式数据库异步融合机制研究与实现
《西北工业大学学报》2024年第2期303-309,共7页杜轶德 刘文洁 
国家自然科学基金重点项目(61732014);华为合作研究项目(D5204220342)资助。
信息技术的不断发展,使得分布式数据库成为研究热点。由于NoSQL架构的分布式数据库对SQL支持有限且在事务处理及一致性方面存在缺陷,基于LSM-Tree的NewSQL数据库逐渐成为应用的主流,例如TiDB、OceanBase等。分布式LSM-Tree的存储架构将...
关键词：分布式数据库 LSM-Tree 数据合并 异步融合 数据分区 
基于DBSCAN聚类算法的卫星数据分区异常检测被引量：2
《科技创新与应用》2024年第10期138-142,共5页尚星宇 
随着我国第一颗电磁监测卫星的发射,卫星探测的海量数据不断涌现,探究空间载荷数据变化特征已成为当前研究热点。为了对张衡一号卫星LAP载荷数据进行异常检测,该文将处理后的数据按地理纬度划分为南纬50°到南纬20°,南纬20°到北纬20°...
关键词：ZH-1卫星 原位电子密度观测数据 异常检测 DBSCAN 聚类算法 
IoT多源异构大数据存储与管理设计
《软件》2023年第12期13-17,22,共6页吴炎泉 陈思恩 黄小炼 
2020年度国家重点研发计划“物联网与智慧城市关键技术及示范”重点专项(2020YFB2103700)。
目前,物联网数据呈现规模大、来源多、结构不一、冗余度高等问题,导致数据读写、存储和管理困难。通过分析在物联网多源异构数据的存储和管理上,本文总结出三个关键问题:数据完整性问题、负载倾斜问题和数据压缩问题,并提炼出对存储侧...
关键词：冷热数据分区 存储异常检测 数据压缩 Hase-ElasticSearch 
基于边缘智能的分布式协同推理策略
《计算机工程与设计》2023年第11期3320-3327,共8页赵宏伟 柴海龙 李思 董昌林 潘志伟 
国家自然科学基金面上基金项目(71672117);国家博士后基金项目(2019M651142);辽宁省高校优秀人才基金项目(2020389);沈阳市科技计划基金项目(21108915)。
为解决在资源受限的边缘设备上部署和执行深度学习模型问题,提出一种结合模型分区和数据并行执行的分布式协同推理策略(DecDNN),通过层粒度自适应模型分割算法(AMCA)在边云之间实现模型的并行推理。为避免数据的隐私泄露,在边端之间提...
关键词：边缘计算 分布式边缘环境 深度学习 边云协同 边缘智能 模型分割 数据分区 
空间滞后–混合地理加权回归模型中的数据分区及参数估计
《统计学与应用》2023年第2期306-317,共12页李知恩 
空间滞后模型和地理加权回归模型均为经典的地统计学模型,分别用于处理带有空间自相关性或异质性的数据,但是在处理同时带有空间自相关性和异质性的数据时拟合效果较差。为了同时考虑数据的自相关性和异质性,提升模型的拟合效果,本文在...
关键词：空间滞后模型 地理加权回归模型 莫兰指数优化法 聚类分析 
全选清除导出
共11页<12345678910>
检索报告 对象比较 聚类工具 使用帮助 返回顶部