基于Hadoop技术的并行计算模式定向数据挖掘方法  

作　　者：叶苗[1] 张国华[1] 

机构地区：[1]南京师范大学泰州学院,江苏省泰州市225300

出　　处：《电子技术与软件工程》2021年第15期159-161,共3页ELECTRONIC TECHNOLOGY & SOFTWARE ENGINEERING

基　　金：2019年度泰州市科技支撑(社发)项目“大数据技术在智慧城市建设中的应用研究”(编号:SSF20190072).

摘　　要：本文研究以Hadoop为技术支撑,提出一种并行计算模式定向数据挖掘方法。在云计算平台中引入分布式网络存储技术,构建HDFS分布式文件系统,通过评估Hadoop集群内节点性能获取各节点性能值。以此为依据选取存储数据块的合适节点,按比例存储数据块。然后基于分布式文件系统设计HBASE分布式数据库,存储并处理大规模数据,经MapReduce并行化处理朴素贝叶斯分类算法后实现对定向数据的分类与挖掘。仿真实验中,利用基于Hadoop平台的常规PC机搭建内部局域网通信形式,设置主数据节点、从数据节点以及Hadoop环境,从挖掘精度与效率两个角度对本文方法展开性能评估。根据指标数据与实际案例应用效果可知:本文方法具有较高的挖掘效率与精准度,且能够有效展示出城区建设扩展趋势,为更科学、更高效地城市建设服务奠定基础。

关 键 词：HADOOP分布式文件系统 并行计算模式 数据挖掘 HBASE分布式数据库 云计算平台 

分 类 号：TP311.13[自动化与计算机技术—计算机软件与理论]