大数据系统和分析技术综述  

Survey on Big Data System and Analytic Technology

作　　者：程学旗[1] 靳小龙[1] 王元卓[1] 郭嘉丰[1] 张铁赢[1] 李国杰[1] 

机构地区：[1]中国科学院计算技术研究所网络数据科学与技术重点实验室,北京100190

出　　处：《软件学报》2014年第9期1889-1908,共20页Journal of Software

基　　金：国家重点基础研究发展计划(973)(2014CB340401;2012CB316303);国家自然科学基金(61232010;61100175;61173008;61202214);北京市科技新星计划(Z121101002512063)

摘　　要：首先根据处理形式的不同,介绍了不同形式数据的特征和各自的典型应用场景以及相应的代表性处理系统,总结了大数据处理系统的三大发展趋势;随后,对系统支撑下的大数据分析技术和应用(包括深度学习、知识计算、社会计算与可视化等)进行了简要综述,总结了各种技术在大数据分析理解过程中的关键作用;最后梳理了大数据处理和分析面临的数据复杂性、计算复杂性和系统复杂性挑战,并逐一提出了可能的应对之策.This paper first introduces the key features of big data in different processing modes and their typical application scenarios, as well as corresponding representative processing systems. It then summarizes three development trends of big data processing systems. Next, the paper gives a brief survey on system supported analytic technologies and applications （including deep learning, knowledge computing, social computing, and visualization）, and summarizes the key roles of individual technologies in big data analysis and understanding. Finally, the paper lays out three grand challenges of big data processing and analysis, i.e., data complexity, computation complexity, and system complexity. Potential ways for dealing with each complexity are also discussed.

关 键 词：大数据 数据分析 深度学习 知识计算 社会计算 可视化 

分 类 号：TP301[自动化与计算机技术—计算机系统结构]