大数据技术中计算与数据的协作机制  

Cooperation Mechanism of Computation and Data in Big Data Technology

作　　者：王鹏[1] 黄焱[2,3] 刘峰[1] 安俊秀[1] 

机构地区：[1]成都信息工程学院并行计算实验室,四川成都610225 [2]中国科学院成都计算机应用研究所,四川成都610041 [3]中国科学院大学,北京100049

出　　处：《成都信息工程学院学报》2014年第1期1-12,共12页Journal of Chengdu University of Information Technology

基　　金：国家自然科学基金资助项目(60702075);国家社会科学基金资助项目(12XSH019);中国博士后科学基金资助项目(20090451420);广东省科技厅高新技术产业化科技攻关资助项目(2011B010200007);四川省青年科学基金资助项目(09ZQ026-068)

摘　　要：大数据系统也被称为面向数据的高性能计算系统,与传统高性能计算系统相似,其计算和数据存储通常也是基于机群实现的分布式系统。以计算与数据的协作机制为主线分析对比了面向计算的高性能计算和面向数据的高性能计算,指出正是计算与数据的协作机制决定着大数据系统的基本结构和性能。分布式文件系统与计算通过协助机制的融合是大数据系统实现自动并行化的基础。与面向计算的高性能计算系统不同,大数据系统以切分数据并将计算向数据迁移作为协作机制的主要原则,实现对海量数据的自动并行批处理。元数据映射方法、哈希映射方法及流式拓朴方法是实现计算和数据协作的基本方法,特别是利用流式拓朴方法可以实现实时大数据处理。Big data system is the data-oriented high performance system. Computation and storage in big data system are all disturbed achieved by cluster technology. Corporation mechanism between computation and data is the main topic in this paper. By contrasting computation-oriented and data-oriented high performance computing system, we find that corporation mechanism between computation and data determines big data system＇s architecture and perfor- mance. Integration between distributed file system and computation is the foundation of automatic paraUelization in big data system. In big data system, data are divided and distributedly stored to achieve automatic parallelization. Metadata mapping, hash mapping and stream topology are often used in the corporation between computation and da- ta , and stream topology is often used to achieve realtime big data analvsis.

关 键 词：面向数据 协作机制 面向计算 高性能计算 大数据 

分 类 号：TP316[自动化与计算机技术—计算机软件与理论]