异构调度环境下ETL工作流监控系统的设计与实现  

Design and implementation of monitoring system for the ETL workflows in heterogeneous scheduling environment

作　　者：王洪彬[1,2] 王纯[1,2] WANG Hong-bin;WANG Chun(State Key Lab of Networking and Switching Technology, Beijing University of Posts and Telecommunications, Beijing 100876, China;EBUPT Information Technology Co., Ltd., Beijing 100191, China)

机构地区：[1]北京邮电大学网络与交换技术国家重点实验室,北京100876 [2]东信北邮信息技术有限公司,北京100191

出　　处：《电信工程技术与标准化》2016年第12期61-65,共5页Telecom Engineering Technics and Standardization

基　　金：国家杰出青年科学基金(No.60525110);国家973计划项目(No.2007CB307100;2007CB307103);国家自然科学基金(No.61072057;60902051);中央高校基本科研业务费专项资金(BUPT2009RC0505);国家科技重大专项(No.2011ZX03002-001-01;2001ZX03002-002-01)

摘　　要：本文提出一种分布式ETL在异构调度环境下的工作流统一监控方法。通过对异构调度系统元数据的提取和抽象,采用增量抽取和跟踪监控对象的方式,通过网络消息传送将监控对象加载到监控数据中心并统一管理,实现了分布式ETL工作流在异构调度环境下的的全局监控,提高了数据恢复能力和仓库的数据质量。This paper provided a unified monitoring method of the distributed ETL workflows in heterogeneousenvironment. By extracting and abstracting the metadata of each workfl ow and tracing the monitoredobjects incrementally, all the ETL jobs could be monitored and managed by the monitor data center,meanwhile improving the quality of the data warehouse.

关 键 词：数据仓库 分布式ETL Oozie 调度监控 

分 类 号：TP311.13[自动化与计算机技术—计算机软件与理论] TP277[自动化与计算机技术—计算机科学与技术]