MapReduce优化技术综述  

A Survey on MapReduce Optimization Technologies

作　　者：黄山[1] 王波涛[1] 王国仁[1] 于戈[1] 李佳佳[1] 

机构地区：[1]东北大学信息科学与工程学院,沈阳110819

出　　处：《计算机科学与探索》2013年第10期865-885,共21页Journal of Frontiers of Computer Science and Technology

基　　金：国家自然科学基金Nos.60933001;61025007;61173030;国家重点基础研究发展计划(973计划)No.2011CB302200-G;国家高技术研究发展计划(863计划)No.2012AA011004;海洋公益性行业科研专项No.201105033~~

摘　　要：作为一种处理大数据的并行编程模型,MapReduce由于其良好的可扩展性、可用性、容错性,得到了学术界和工业界的关注。针对MapReduce在应用领域中的不足,已经存在大量的优化技术。介绍了MapReduce框架,比较了现存的MapReduce列存储、索引、连接、迭代计算、科学计算及调度算法方面的优化技术,分析了MapReduce技术研究的挑战性问题,指出了未来研究方向。As a parallel programming model for big data processing, MapReduce is getting more and more attrac- tions from academia and industry for its good scalability, availability and fault tolerance. There exist a lot of optimi- zation technologies focusing on the application limitations of MapReduce. This paper firstly introduces the MapReduce framework, then compares the research work on MapReduce optimization technologies including column storage, index, join, iteration calculation, scientific calculation, and scheduling algorithms respectively. Finally, this paper analyzes the challenges and figures out the trends of this area.

关 键 词：MAPREDUCE 列存储 索引 连接 迭代 科学计算 调度算法 优化 

分 类 号：TP316.4[自动化与计算机技术—计算机软件与理论]