基于MapReduce海量视频数据并行计算系统的设计  

Research and Design of MapReduce Based Massive Video Data Parallel Processing System

作　　者：李哲[1,2] 李虎俊[3] 张天凡 

机构地区：[1]湖北工程学院新技术学院,湖北孝感432000 [2]西北工业大学自动化学院,陕西西安710072 [3]湖北职业技术学院继续教育学院,湖北孝感432000

出　　处：《湖北工程学院学报》2015年第6期26-31,共6页Journal of Hubei Engineering University

基　　金：湖北工程学院自然科学基金(2013016;201515);湖北工程学院新技术学院自然科学基金(Hgxky14);湖北省公安厅自主科研项目(鄂公传发【2015】70号)

摘　　要：在总结视频图像数据处理现状的基础上,针对海量视频数据的并行化处理问题,提出一种基于MapReduce的并行计算系统设计方法。该系统使用NVIDIA JETSON TK1搭建并行计算集群,在此基础上利用Hadoop实现了MapReduce。在此平台上设计基于CUDA的并行数据处理算法对千万条文本数据进行处理,分析了其数据装载时间、处理时间和全部任务处理时间。结果表明,该系统当前加速比约为4.73,与C/S单机相比,处理速度有较大程度的提高,为实现实时海量视频图像处理奠定了良好基础。On the summary of the status of video image processing ,this paper proposes a parallel pro‐cessing method for the parallel processing of massive video data w hich is based on parallel processing system by using the MapReduce technique .This system utilizes the NVIDIA JETSON TK1 to build parallel computation clusters and employs the Hadoop to perform the MapReduce .With the developed platform ,a CUDA based parallel processing algorithm is designed to process tens of millions of text data for the analysis of the data loading time ,the processing time of each task and the processing time of all tasks .T he test results indicate that the acceleration rate of the system is about 4 .73 ,w hich is much higher than the C/S mode in a single computer and offers a good foundation for the implementa‐tion of real‐time massive video data processing .

关 键 词：并行计算 海量视频数据 MAPREDUCE HADOOP 

分 类 号：TP338.6[自动化与计算机技术—计算机系统结构] TP391.41[自动化与计算机技术—计算机科学与技术]