数据仓库建设及实时计算方案的设计与实施  

作　　者：任杰 

机构地区：[1]创络(上海)数据科技有限公司,上海200082

出　　处：《IT经理世界》2019年第6期204-206,共3页

摘　　要：随着业务的发展,企业内部业务系统越来越多因此如何整合所有业务系统数据,建立数据仓库,并对海量数据进行实时查询,就变得越来越迫切本文通过采用Hadoop大数据技术,建成了大数据平台接入各个业务系统的数据,包括电商、APP、CRM、OMS、ERP等采用3层模型对数据仓库进行建模,采用ETL工具(Spark,Kettle)对数据抽取、清洗、然后加栽到数据仓库中,最后业务系统实时从数据仓库中对数据进行查询汇总。本方案在某电商公司已得到实施,系统上线后,公司运营效率得到极大的提高.

关 键 词：大数据技术 ETL 实时计算 

分 类 号：TP311.13[自动化与计算机技术—计算机软件与理论]