一种基于多核环境的海量数据快速读取方法  

Quick-Read Means of Mass Data Based on Multi-Core Environment

作　　者：马礼[1] 李敬喆[1] 葛根焰[2] 杨银刚[2] 

机构地区：[1]北方工业大学信息工程学院,北京100144 [2]北京信息高技术研究所,北京100085

出　　处：《计算机研究与发展》2011年第S1期63-67,共5页Journal of Computer Research and Development

基　　金：北京市属高等学校人才强教计划基金项目(PHR201007121)

摘　　要：随着多核计算机的发展,多核PC机已经可以完成许多大规模计算任务,然而面对海量数据的处理,存储器与辅助存储器内的数据读取往往会成为提高应用程序运行速度的瓶颈,从而不能很好运用多核系统带来的优越硬件性能.基于多核环境的海量数据快速提取方法,以内存映射文件方法为基础并运用基于视图映射粒度的划分方式和动态与静态结合的负载均衡策略,实现了在多核平台下针对海量数据的高速并行提取.实验表明,此种方法充分发挥了多核环境的特点,并在数据量增大的情况下有良好的适应性.随着多核计算机的发展,多核PC机已经可以完成许多大规模计算任务,然而面对海量数据的处理,存储器与辅助存储器内的数据读取往往会成为提高应用程序运行速度的瓶颈,从而不能很好运用多核系统带来的优越硬件性能.基于多核环境的海量数据快速提取方法,以内存映射文件方法为基础并运用基于视图映射粒度的划分方式和动态与静态结合的负载均衡策略,实现了在多核平台下针对海量数据的高速并行提取.实验表明,此种方法充分发挥了多核环境的特点,并在数据量增大的情况下有良好的适应性.

关 键 词：海量数据 多核 快速读取 并行 负载均衡 

分 类 号：TP3[自动化与计算机技术—计算机科学与技术]