基于机器学习特性的数据中心能耗优化方法  

Power Saving Based on Characteristics of Machine Learning in Data Center

作　　者：王肇国[1] 易涵[1] 张为华 

机构地区：[1]复旦大学计算机科学技术学院,上海201203

出　　处：《软件学报》2014年第7期1432-1447,共16页Journal of Software

基　　金：上海市科委科技攻关项目(13DZ1108800);国家自然科学基金(61370081);国家高技术研究发展计划(863)(2012AA010901)

摘　　要：随着互联网的发展,各种类型的数据呈爆炸式增长.通过机器学习的方法对大量数据进行实时或离线的分析,获取规律性信息,已成为各行业提升决策准确性的重要途径.因此,这些机器学习算法成为各个数据中心运行的主要应用.然而,随着数据规模的增大和数据中心面临的能耗问题的突出,如何实现这些算法的低功耗处理,已成为实现绿色数据中心亟待解决的关键问题之一.为了实现对这些机器算法的绿色计算,首先对运行在数据中心中的关键算法进行了深入的分析,并观察到在这些算法中存在大量的冗余计算.在此基础上,设计和实现了一种面向数据中心典型应用的低功耗调度策略.该算法通过对不同计算部分的输入数据进行匹配来判断计算过程中的冗余部分,并对算法进行调度.实验数据显示,对于数据中心的两种典型应用k-means和PageRank,该算法可以实现23%和17%的能耗节约.With the development of the Internet, the scale of data center increases dramatically. How to analyze the data stored in the data center becomes the hot research topic. Programmers resort to the machine learning to analyze unstructured or semi-structured data. Thus, energy efficient machine learning is crucial for green data centers. Based the observation that there is redundant computation in the machine learning applications, this paper proposes a system which can save the power usage by removing the redundant computations and reusing the previous computation results. Evalution shows that for the typical k-means and PageRank applications the presented algorithm results 23% and 17% power saving.

关 键 词：节能 分布式计算 机器学习 MAPREDUCE PAGERANK 

分 类 号：TP316[自动化与计算机技术—计算机软件与理论]