分布式大数据的复杂任务调度与存储优化策略研究  

作　　者：宋俊苏 SONG Junsu

机构地区：[1]盐城农业科技职业学院,江苏盐城210023

出　　处：《信息技术与信息化》2025年第4期138-141,共4页Information Technology and Informatization

摘　　要：面向大数据存储、复杂任务调度与处理的实际需求,基于B/S浏览器/服务器网络结构、Hadoop分布式集群组件架构、NoSQL数据库、HDFS文件存储组件、元数据服务器、数据服务器、ECS云服务器、Client客户机等软硬件,设置涵盖基础层、网络通信层、数据存储层、任务调度层的多层网络架构,利用任务调度器、任务控制块标注不同任务的数据结构,文章设计应用复杂任务树算法模型进行简单任务组合、父(子)节点任务执行,任务执行成功后从消息队列取出执行后的二进制流数据,提升分布式复杂任务调度处理质量。实验结果表明,基于复杂任务树调度算法的数据块消息队列任务调度准确值Precision为96.12%,数据块任务调度结果和真实标签之间的匹配程度值AP为92.53%,F-Measure值为0.903,均显著优于CNN卷积神经网络算法的迭代训练结果。

关 键 词：分布式大数据 复杂任务调度 存储 优化策略 

分 类 号：TP311.13[自动化与计算机技术—计算机软件与理论]