基于Docker搭建Spark大数据集群数据挖掘平台  

作　　者：蔡全福 CAI Quanfu

机构地区：[1]厦门城市职业学院,福建厦门361008

出　　处：《信息技术与信息化》2022年第9期70-73,共4页Information Technology and Informatization

基　　金：2020年福建省中青年教师教育科研项目(JAT201344)。

摘　　要：搭建大数据集群采用虚拟机部署的传统方法存在效率低、搭建步骤繁琐、时间成本高等问题,无法满足应用需求。随着虚拟化技术的发展,Docker技术由于具有占用资源小、启动速度快、部署快捷等优势,Docker技术能有效解决传统方法存在的问题,使得应用场景非常丰富。为此,提出基于Docker技术搭建Spark大数据集群实现数据挖掘平台。首先,介绍Docker技术的特点,通过与虚拟机技术对比阐述Docker技术的优势,并且介绍Spark集群架构和Kubernetes技术;然后,详细分析数据挖掘平台的搭建步骤,测试Docker技术和虚拟机技术的程序运行速度,测试表明Docker技术具有较短的运行时间,效率更高。为了Spark集群数据挖掘平台在节点扩展和管理更加灵活,提出基于Kubernetes技术改进原来集群,使得新增节点和管理集群更加高效。

关 键 词：虚拟化技术 DOCKER Spark大数据集群 数据挖掘 Kubernetes 

分 类 号：TP311.13[自动化与计算机技术—计算机软件与理论]