一个实用的针对URL的哈希函数  

Practical Hashing Function for URLs Set

作　　者：肖明忠[1] 闵博楠[1] 王佳聪[1] 代亚非[1] 

机构地区：[1]北京大学计算机系网络实验室,北京100871

出　　处：《小型微型计算机系统》2006年第3期538-541,共4页Journal of Chinese Computer Systems

基　　金：国家"九七三"项目(G1999032706)资助;北大"九八五"项目资助.

摘　　要：在Web信息处理的研究中,不少情况下需要对很大的URL序列进行散列(hashing)操作.本文提出了一个针对URL数据集合的均匀哈希函数,它是ELFhash函数的变型.通过对天网搜索引擎采集的1亿多个URL集合的抽样实验表明它能有效使得URL集在哈希表中均匀散布.并通过与MD5和SHA-1的对比,认为它是实用的.最后,指出了进一步的研究方向.URL hashing is found many applications in Web research. We propose a hashing function for large scale URLs set and find it has better uniformity and stability than the other two （HfIp and hf） through three experiments of the large scale. It is a variation of the well-known function （ELFhash） and is recommended used in the applications of needing to hash URLs. Moreover, it has low time cost and almost performance compared with MD5 and SHA-1 so that we think it is more practical than the other. Finally, some future works are given.

关 键 词：URL 哈希函数 ELFhash 均匀分布 MD5 SHA-1 

分 类 号：TP18[自动化与计算机技术—控制理论与控制工程]