基于Hadoop的海量数据处理平台的架构与研究  

Architecture and Research of Massive Data Processing Platform Based on Hadoop

作　　者：关金金[1] 未培[1] 庄彦[1] GUAN Jin-jin;WEI Pei;ZHUANG Yan(ANHUI BUSINESS VOCATIONAL COLLEGE,Hefei Anhui 231131,China)

机构地区：[1]安徽工商职业学院

出　　处：《科技视界》2019年第20期99-100,共2页Science & Technology Vision

基　　金：2018安徽高校自然科学研究重点项目“基于大数据的跨域推荐技术研究”(KJ2018A0876);2017安徽省高等学校自然科学研究重点项目“高校就业精准服务平台关键技术研究”(KJ2017A760);2017年安徽高校自然科学研究重点项目“关联规则挖掘及其在泛在学习平台中的应用研究”(KJ2017A764);2016安徽省高等学校省级质量工程项目“大规模在线开放课程(MOOC)示范项目<交换与路由技术>”(2016mooc014);2017安徽工商职业学院新华三技术有限公司移动云计算校企合作实践教育基地项目(2017sjjd076)

摘　　要：大数据时代的来临,成就了海量数据的衍生,但如何快速聚类高价值数据,深度挖掘电商行业客户和服务数据,搭建海量数据服务着陆平台,监测行业数据舆情,提升公共服务水平,拓宽数据资源应用市场是"互联网+"行业转型的关键.借助Hadoop分布式存储与计算平台,以高效、可靠、可伸缩的方式维护数据精确度、缓解数据冷启动问题,增强数据多样化推荐.The advent of the era of big data has made the derivation of massive data.,But how to quickly cluster high-value data,deepen the e-commerce industry customer and service data,build a massive data service landing platform,monitor industry data public opinion,improve public service levels,and broaden the data resource application market is the key to the“Internet+”industry transformation.With Hadoop distributed storage and computing platform,data accuracy is improved,data cold start problems are alleviated,and data diversification recommendations are enhanced in an efficient,reliable,and scalable manner.

关 键 词：HADOOP平台 海量数据 服务处理平台 HDFS架构 

分 类 号：TP391[自动化与计算机技术—计算机应用技术]