数据仓库ETL任务调度模型研究  

Study on ETL tasks scheduling model in data warehouse

作　　者：宋旭东[1,2] 刘晓冰[2] 

机构地区：[1]大连交通大学软件学院,大连116028 [2]大连理工大学CIMS中心,大连116024

出　　处：《控制与决策》2011年第2期271-275,共5页Control and Decision

基　　金：国家自然科学基金项目(70572098);辽宁省教育厅项目(L2010083)

摘　　要：数据仓库系统包含众多的抽取-转换-加载(ETL)任务,这些任务具有一定的优先约束关系.在多处理机环境下,如何高效地调度这些ETL任务是构建数据仓库需要研究的重要问题.对此,在对数据仓库ETL任务调度规则进行归纳总结的基础上,以数据仓库总的ETL完成时间最短为目标,建立了数据仓库ETL任务调度模型.同时结合问题的特点,采用同层划分的思想,提出基于同层划分遗传算法求解问题的方法.最后,通过应用实例验证了所建立模型和求解算法的可行性和有效性.Data warehouse system includes many extract-transform-load（ETL） tasks which have some precedence constraint relations.In a multi-processor environment,how to efficiently schedule these ETL tasks is one of the important aspects for constructing data warehouse.On the basis of classification and summary of data warehouse ETL scheduling rules,a data warehouse ETL scheduling model is established to minimize the total ETL execution time.At the same time,based on the characteristics of the problem,adopting the same layer division strategy,a genetic algorithm based on the same layer division is proposed.Finally,the application case of the model is represented,and the case results show the feasibility and effectiveness of this model and its algorithm.

关 键 词：数据仓库 抽取-转换-加载 任务调度 同层划分 遗传算法 

分 类 号：TP273[自动化与计算机技术—检测技术与自动化装置]