两种对URL的散列效果很好的函数  

Two Effective Functions on Hashing URL

作　　者：李晓明[1] 凤旺森[1] 

机构地区：[1]北京大学计算机科学技术系,北京100871

出　　处：《软件学报》2004年第2期179-184,共6页Journal of Software

基　　金：国家重点基础研究发展规划(973)No.G1999032706~~

摘　　要：在Web信息处理的研究中,不少情况下需要对很大的URL序列进行散列操作.针对两种典型的应用场合,即Web结构分析中的信息查询和并行搜索引擎中的负载平衡,基于一个含有2 000多万个URL的序列,进行了大规模的实验评测.说明在许多文献中推荐的对字符串散列效果很好的ELFhash函数对URL的散列效果并不好,同时推荐了两种对URL散列效果很好的函数.Hashing large collection of URLs is an inevitable problem in many Web research activities. Through a large scale experiment, three hash functions are compared. Two metrics were developed for the comparison, which are related to web structure analysis and Web crawling, respectively. The finding is that the well-known function for hashing sequence of symbols, ELFhash, is not very good in this regard, and the other two functions are better and thus recommended.

关 键 词：散列 ELFhash URL 均匀分布 WEB挖掘 负载平衡 

分 类 号：TP314[自动化与计算机技术—计算机软件与理论]