Bloom Filters散列函数数目多阶段动态优化算法  

A Multi-Stage Dynamic Optimization Algorithm for Bloom Filters Hash Functions Number

作　　者：张伟[1,2] 王汝传[1,2] 

机构地区：[1]南京邮电大学计算机学院,江苏南京210003 [2]南京邮电大学计算机技术研究所,江苏南京210003

出　　处：《电子学报》2011年第4期877-881,共5页Acta Electronica Sinica

基　　金：国家自然科学基金(No.60973193;61003039;61003236);江苏省自然科学基金(No.BK2008451);省级现代服务业发展专项基金(No.0801019C);国家博士后基金(No.20090451241);江苏高校科技创新计划项目(No.CX09B-153Z;CX10B-260Z;CX10B-261Z;CX10B-262Z);江苏省六大高峰人才项目(No.2008118);江苏省计算机信息处理技术重点实验室基金(2010)

摘　　要：标准Bloom Filters在操作前需要知道数据集合中不同元素数目才能确定最佳的Hash函数数目,但是数据集的分布情况并不容易事先获得.本文提出一种多阶段Hash函数数目动态优化的Bloom Filters(Multi-stage Dynamicoptimization Bloom Filters,MDBF),它将元素插入过程分为多个阶段,在每个阶段根据比特向量的使用情况分析插入元素的分布,动态调整最优的Hash函数数目.实验表明MDBF能够适应元素多样性和偏斜分布的复杂情况,选择最优的Hash函数数目,获得更低的误检率.Standard Bloom Filters needs to know the number of different elements in data set in order to determine the optimal number of hash functions.However,the data distribution information is not easy to obtain prior.This paper proposes a multistage dynamic optimization for Bloom Filters hash functions number（MDBF）.It splits element insertion procedure into several stages,and in each stage of element insertion,MDBF decides the optimal hash function number by analyzing the inserted data distribution with bit vector usage situation.The experimental results show that MDBF can select the optimal number of hash functions to obtain low false positive probability in complicated applications,which have element multiplicity and skewed distribution.

关 键 词：BLOOM FILTERS HASH函数 偏斜分布 误检率 

分 类 号：TP393[自动化与计算机技术—计算机应用技术]