基于FPGA的高效数据过滤技术研究  

Research on Efficient Data Filtering Based on FPGA

作　　者：陈宝远[1] 张秀芝 梁状 

机构地区：[1]哈尔滨理工大学测控技术与仪器黑龙江省高校重点实验室,黑龙江哈尔滨150080

出　　处：《微电子学与计算机》2017年第12期130-133,137,共5页Microelectronics & Computer

基　　金：黑龙江省教育厅科研项目(12531113);哈尔滨理工大学仪器研究项目(2012XZA04014)

摘　　要：为了提高Hadoop的数据处理效率,在Hadoop集群中加入FPGA对Hadoop分布式文件系统中存储的数据进行过滤,这样MapReduce程序只需要对过滤后的数据进行自定义的操作,从而避免了扫描全部数据.实验表明处理海量的数据时,FPGA能够显著地过滤掉无用数据,从而提高数据处理效率.In order to increase the efficiency of data processing, FPGA was injected into Hadoop cluster. FPGA will filter the data stored in HDFS（Hadoop Distributed File System）. In this way MapRedeuce just need to process the filtered data. A series experiment shows that FPGA could filter useless data and increase the efficiency of data processing.

关 键 词：数据过滤 FPGA 海量数据 HADOOP 

分 类 号：TN4[电子电信—微电子学与固体电子学]