基于Hadoop和MPP架构的高校数据集成平台设计  

作　　者：张军[1] 

机构地区：[1]湖南铁道职业技术学院,湖南株洲412001

出　　处：《电子元器件与信息技术》2020年第9期55-56,共2页Electronic Component and Information Technology

摘　　要：针对高校各类业务数据结构复杂、数据增长迅速等特点,文章提出基于Hadoop和MPP数据库混合构建高校数据集成平台,对平台中的复杂查询、数据关联、自助分析等逻辑加工场景应用MPP数据库,对海量的日志数据、文本数据等非结构化和半结构化数据采用Hadoop存储计算。平台采用了分层架构的策略,分为源数据层、数据处理层和数据应用层,实现了高校数据的集中采集、分类存储、有效整合,保证了数据的治理质量和处理效率。

关 键 词：数据集成 HADOOP MPP数据库 

分 类 号：TP311.13[自动化与计算机技术—计算机软件与理论]