数据处理平台的研究与实现  

Research and implementation of data process platform

作　　者：蔡玉宝[1] 左春[1] 张正[1] 邹志强[2] 

机构地区：[1]中国科学院软件研究所软件工程技术研究中心 [2]南京邮电大学电子工程系,江苏南京210003

出　　处：《计算机工程与设计》2008年第7期1800-1803,1852,共5页Computer Engineering and Design

基　　金：国家863高技术研究发展计划基金项目(2003AA112050);北京市科委基金项目(D0106006040391)

摘　　要：数据处理工作已经成为目前应用开发面对的主要内容之一,存在大量的ETL工具用于进行数据处理,它们提高了系统的开发和运行效率,但缺少系统的对异常的恢复和提高系统开发效率的支持。利用日志管理、异常处理、目录服务、规则管理等技术,给出了一个数据处理平台的体系架构。在该架构中,使用模板和样本程序方法提高系统的开发效率;并基于数据处理集、影响域的概念,使用单作业状态转换、多作业有向无循环图模型解决了作业调度问题;使用基于数据处理集的日志管理、基于影响域的异常处理和恢复等模型,在保证系统运行效率的基础上,通过记录异常发生时的状态,和使用影响域迅速定位异常的影响范围,很好地解决了数据处理系统中的异常的恢复问题。At present, data process work has been one of the mainly problems faced in application development. And now there exist a lot of common ETL tools, they can help to improve system development and execute efficiency, but lacks of exception restore ability. An architecture of data process platform, technologies like log management, exception handle, directory service are given and rule management are used, concept like Data Processing Set, Influence Domain, and models like single job state transfer model, multi-job DAG model, data processing set based log management model, influence domain based exception handling and restore model are used in this platform, the problem of exception restore is solved, and the flexibility and development efficiency from reality are improved.

关 键 词：数据处理 作业管理 日志管理 异常恢复 影响域 

分 类 号：TP311.52[自动化与计算机技术—计算机软件与理论]