大数据评测基准的研发现状与趋势  

Big data benchmarks: state-of-art and trends

作　　者：周晓云[1] 覃雄派[2] 王秋月[2] 

机构地区：[1]江苏师范大学计算机科学与技术学院,江苏徐州221116 [2]中国人民大学信息学院,北京100872

出　　处：《计算机应用》2015年第4期1137-1142,共6页journal of Computer Applications

基　　金：国家自然科学基金资助项目(61170013;61202331);江苏省自然科学基金资助项目(BK2012578)

摘　　要：工业界、学术界,以及最终用户都急切需要一个大数据的评测基准,用以评估现有的大数据系统,改进现有技术以及开发新的技术。回顾了近几年来大数据评测基准研发方面的主要工作。对它们的特点和缺点进行了比较分析。在此基础上,对研发新的大数据评测基准提出了一系列考虑因素:1)为了对整个大数据平台的不同子工具进行评测,以及把大数据平台作为一个整体进行评测,需要研发面向组件的评测基准和面向大数据平台整体的评测基准,后者是前者的有机组合;2)工作负载除了SQL查询之外,必须包含大数据分析任务所需要的各种复杂分析功能,涵盖各类应用需求;3)在评测指标方面,除了性能指标(响应时间和吞吐量)之外,还需要考虑其他指标的评测,包括系统的可扩展性、容错性、节能性和安全性等。A big data benchmark is needed eagerly by customers, industry and academia, to evaluate big data systems,improve current techniques and develop new techniques. A number of prominent works in last several years were reviewed.Their characteristics were introduced and the shortcomings were analyzed. Based on that, some suggestions on building a new big data benchmark are provided, including： 1） component based benchmarks as well as end-to-end benchmarks should be used in combination to test different tools inside the system and test the system as a whole, while component benchmarks are ingredients of the whole big data benchmark suite; 2） workloads should be enriched with complex analytics to encompass different application requirements, besides SQL queries; 3） other than performance metrics（ response time and throughput）,some other metrics should also be considered, including scalability, fault tolerance, energy saving and security.

关 键 词：大数据 评测基准 性能 可扩展性 容错性 节能性 安全性 

分 类 号：TP311.13[自动化与计算机技术—计算机软件与理论]